Η μικρή έκταση στο μαστοειδή λόφο στη Σκάλα Ερεσού, που οριοθετείται από περίβολο, με λέσβιο σύστημα δόμησης, μήκους 1 χλμ. περίπου, ενισχύει την υπόθεση παλαιών ερευνητών ότι, όπως και οι άλλες λεσβιακές πόλεις, η πόλη της Ερεσού, στην αρχική της μορφής της τουλάχιστον, είχε η ίδια χαρακτήρα ακρόπολης. Ο φυσικός πολλαπλασιασμός των κατοίκων, η μικρή έκταση που κατείχε η αρχική πόλη και η κυριαρχία του δήμου, που αύξησε τον πληθυσμό που απαιτούσε να κατοικεί στο άστυ συντέλεσαν στην επέκταση της πόλης.

Κατά τη μαρτυρία του Στράβωνα, η Ερεσσός "ιδρύται δε επί του λόφου καθήκει τε επί θάλατταν". Δεν υπάρχουν ακόμα αρκετά αρχαιολογικά - στρωματογραφικά δεδομένα, αλλά ούτε λόγος αμφισβήτισης της μαρτυρίας ότι η Ερεσσός ιδρύθηκε στην Υστερη Χαλκοκρατία, όπως όλες οι πόλεις της Λέσβου, δηλαδή μετά την άφιξη των Αιολέων.

Συστηματική ανασκαφική έρευνα στο χώρο της ακροπόλεως της Ερεσσού ("Μαστός") δεν έχει πραγματοποιηθεί. Ο Koldewey κατά την περιοδεία του στο νησί επισκέφθηκε και την ακρόπολη της Ερεσσού, όπου αποτύπωσε και περιέγραψε τα ορατά οικοδομικά λείψανα (δεκαετία του 1880).

Η ακρόπολη της Ερεσσού εντοπίζεται πάνω σε φυσικό οχυρό λόφο στην ΝΔ παραλία και κατά την αρχαιότητα μαρτυρείται με το όνομα "Μαστός". Ο Koldewey υπολόγισε το μήκος του περιβόλου της ακρόπολης σε 1 χλμ. και την έκταση του χώρου που περιλάμβανε σε 45 στρέμματα περίπου. Πολλά κομμάτια από τον αρχαίο περίβολο της πόλης σώζονται λίγο πιο πάνω από την υπώρεια του λόφου. Είναι κτισμένα από τραχείτη λίθο με λεσβία τοιχοδομία. Η οικοδομή των τμημάτων του τείχους που σώζονται παρουσιάζει ποικιλομορφία και χρονολογείται στην αρχαϊκή περίοδο. Ο Koldewey διέκρινε πύλες και πύργους εξωτερικά.

Στην ελληνιστική περίοδο έγινε επέκταση της πόλης νότια του αρχικού περιβόλου στην περιοχή του λιμανιού. Προστίθενται άλλα περίπου 15 στρέμματα στον κατοικήσιμο χώρο και κατασκευάζεται νέος περίβολος. Το νέο τείχος είναι κτισμένο με ισόδομη οικοδομή.

Σήμερα, σώζονται στην κορυφή του λόφου λείψανα του μεσαιωνικού κάστρου κτισμένου στην εποχή των Γατελούζων. Ηταν σε χρήση ως την κατάληψη της Λέσβου από τους Τούρκους (1462).