Βίγλα ονομάζεται σήμερα η ακρόπολη της αρχαίας Ερεσού που καταλαμβάνει ένα βραχώδες λόφο, σε μικρή απόσταση από την παραλία, νοτιοανατολικά του σημερινού οικισμού της Σκάλας Ερεσού. Στα ερείπια της παλιάς ακρόπολης κτίστηκε το κάστρο των Βυζαντινών, του οποίου η ύπαρξη μαρτυρείται ήδη από τις αρχές του 14ου αι.. Ναυτική πόλη η Ερεσός αποτέλεσε σημαντικό εμπορικό κέντρο και ήδη από τον 6ο αι. π.Χ. γνώρισε μεγάλη ακμή και πλούτο εξαιτίας των προϊόντων της (δημητριακά και ιδιαίτερα κριθάρι, σουσάμι, σύκα και σταφύλια) που διακινούνταν όχι μόνο στην Ελλάδα αλλά και στην Τροία, τον Ελλήσποντο μέχρι και τη μακρινή Αίγυπτο.

Η εγκατάσταση στο λόφο μαρτυρείται από τους αρχαίους έως και τους πρώτους χριστιανικούς χρόνους και περιλαμβάνει τμήματα των τειχών της αρχαίας πόλης, ένα ρωμαϊκό κτήριο με υπόκαυστα και κατάλοιπα σπιτιών. Στη δυτική κλιτύ της ακρόπολης ύστερα από ανασκαφές που διενεργήθηκαν από την Ελληνική Αρχαιολογική Εταιρεία (το 1926) και από τον Α. Ορλάνδο ήρθαν στο φως δύο δωμάτια με ψηφιδωτά δάπεδα που θεωρούνται σύγχρονα της βασιλικής του Αγίου Ανδρέα Ερεσού.

Κατά τους μεσαιωνικούς χρόνους η ζωή αναπτύχθηκε στην ίδια θέση της αρχαίας πόλης, κοντά στη θάλασσα όπου σήμερα είναι η Σκάλα. Πάνω στην παλιά ακρόπολη, οι Βυζαντινοί ανήγειραν το κραταιό κάστρο της μεσαιωνικής Ερεσού.

O Domenico Cattaneo (1334), άρχοντας της Νέας Φώκαιας, στην προσπάθεια του να αποσπάσει τη Λέσβο από την κυριαρχία του Ανδρόνικου Γ΄, κατέλαβε τα σπουδαιότερα κάστρα του νησιού εκτός από αυτά της Ερεσού και του Μολύβου. Το Σεπτέμβρη του 1462 το κάστρο της Ερεσού μαζί με τα άλλα κάστρα του νησιού παραδόθηκαν στους Οθωμανούς. Σταδιακά το κάστρο της Ερεσού οδηγήθηκε σε παρακμή για να αντικατασταθεί από το Φρούριο του Σιγρίου.

Πολύτιμο υλικό για την περιοχή αντλούμε από τις περιγραφές των περιηγητών και τα ιζολάρια και τους πορτολάνους των γεωγράφων. Ο Φλωρεντινός καλόγερος Christophoro Buondelmonti, που πιστεύεται ότι επισκέφτηκε τη Μυτιλήνη ανάμεσα στα 1414 και 1420 μ. Χ., σημειώνει στο χάρτη του ένα μεσαιωνικό κάστρο με τέσσερις πύργους, που ταυτίζεται με αυτό που σώζεται μέχρι σήμερα στην κορυφή της Βίγλας. Ο επίσης καλόγερος Giacobo Filippo da Bergamo (γύρω στο 1540 μ. Χ.) τοποθετεί την Ερεσό ανάμεσα στις σπουδαιότερες οχυρωμένες πόλεις του νησιού.

Αναφορά στο κάστρο της Ερεσού κάνει και ο αρχιεπίσκοπος των Λατινόφωνων Μυτιληναίων Leonardo Justiniani λίγα χρόνια νωρίτερα. Αντίθετα ο Ισπανός πρεσβευτής R. G. De Clavijio (1404) και ο Βενετσιάνος περιηγητής Barth. Zamberti (1485) παραλείπουν πιθανόν από λάθος να αναφερθούν σε αυτό. Τέλος μια σύντομη αναφορά έχουμε από τον R. Pococke κατά την περιήγησή του στα μέσα του 18ου αι.

Σε χάρτη του Ιταλού Porcachi του 1576 μ. Χ. αλλά και σε μεταγενέστερους, η Ερεσός σημειώνεται με την ονομασία Taristieri που αποτελεί αναφορά στον κυκλικό της πύργο (σύνθετη ονομασία από tar-tarris =γη, ή turris =πύργος, και το επίθετο teres =κυκλοτερής). Με την πάροδο του χρόνου το όνομα Ερεσός γίνεται μόνιμο στους χάρτες με τον τύπο Eressus ή Eressa.

Από το βυζαντινό κάστρο της Ερεσού σήμερα δε σώζονται παρά μόνο ελάχιστα ερείπια που περιλαμβάνουν έναν κυκλικό και έναν ορθογώνιο πύργο και μία δεξαμενή νερού. Οι δύο πύργοι παρουσιάζουν διαφορά στην τοιχοποιία. Ο τετράγωνος είναι κατασκευασμένος έτσι ώστε να πλησιάζει το ισόδομο σύστημα δόμησης, με κανονικούς ορθογώνιους λίθους και ευρεία χρήση αρχαίου υλικού. Ο κυκλικός πύργος είναι κτισμένος με ακανόνιστους κυρίως λίθους από τους οποίους ελάχιστοι προέρχονται από αρχαία οικοδομήματα. Ο τελευταίος φαίνεται να έχει προστεθεί μεταγενέστερα εν είδη προμαχώνα. Το κάστρο έχει υποστεί μετατροπές και προσθήκες αρχικά από τους ίδιους τους Βυζαντινούς και στη συνέχεια από τους Γατελούζους ηγεμόνες του νησιού (1355 και εξής).

Σε καλή κατάσταση σώζεται σήμερα η δεξαμενή νερού που για πολλούς είναι ρωμαϊκή ενώ για άλλους βυζαντινή. Η οροφή της είναι θολωτή και διαθέτει βάθος.