Η Ακρόπολη λόγω της γεωμορφολογίας της αποτέλεσε χώρο καταφυγής των κατοίκων της περιοχής ήδη από τους προϊστορικούς χρόνους. Κατά τη μυκηναϊκή περίοδο, γύρω στο 1200 π.Χ., κατασκευάσθηκε το πρώτο οχυρωματικό τείχος, το λεγόμενο ''κυκλώπειο'', που περιβάλλει την κορυφή του λόφου. Ίχνη αυτής της οχύρωσης είναι ορατά κυρίως στα νοτιοανατολικά των Προπυλαίων, ενώ η πορεία της μπορεί να αποκατασταθεί από ίχνη που έχουν εντοπισθεί στην περιφέρεια του βράχου. Η κύρια είσοδος στο χώρο βρισκόταν (όπως και σε όλες τις ιστορικές περιόδους) στη δυτική πλευρά του λόφου, που είχε ενισχυθεί με πύργο, στη θέση του οποίου οικοδομήθηκε αργότερα ο ναός της Αθηνάς Νίκης. Το τείχος αυτό, των μυκηναϊκών χρόνων, με ενισχύσεις και μικρές τροποποιήσεις φαίνεται ότι διατηρήθηκε μέχρι το 480 π.Χ., οπότε υπέστη σοβαρές ζημιές κατά την επιδρομή των Περσών.

Μετά την αποχώρηση των Περσών, με πρωτοβουλία του Θεμιστοκλή, τειχίσθηκε η πόλη της Αθήνας και επανατειχίσθηκε η Ακρόπολη. Αρχικά κατασκευάσθηκε το βόρειο τείχος, που ονομάσθηκε Θεμιστόκλειο. Στην οικοδόμησή του χρησιμοποιήθηκε υλικό από τα μνημεία που κατέστρεψαν οι Πέρσες και σήμερα ο επισκέπτης μπορεί να διακρίνει στην περιοχή βόρεια του Ερεχθείου τους ημιτελείς μαρμάρινους σπόνδυλους του Προ-Παρθενώνα, ενώ πιο δυτικά διακρίνονται τμήματα από το θριγκό (τρίγλυφα, γείσα και μετόπες) από τον αρχαίο ναό της Αθηνάς. Το νότιο τείχος οικοδομήθηκε την εποχή του Κίμωνα, μετά τη νίκη στον Ευρυμέδοντα ποταμό το 467 π.Χ., γι' αυτό και ονομάσθηκε Κιμώνειο. Για την κατασκευή του χρειάσθηκε να διευρυνθεί η επιφάνεια του βράχου της Ακρόπολης στο νότιο τμήμα της με την κατασκευή τεχνητού ανδήρου. Στην οικοδόμησή του επίσης χρησιμοποιήθηκε υλικό (επιστύλια), από τον αρχαίο ναό και τον Προ-Παρθενώνα.

Τον 3ο αι. μ.Χ., με αφορμή την επιδρομή των Ερούλων, στα δυτικά της Ακρόπολης και κάτω από τα Προπύλαια κατασκευάσθηκε συμπληρωματική οχύρωση και δύο πύλες, από τις οποίες η δυτική είναι η πύλη Beule. Από την εποχή εκείνη η Ακρόπολη μετατράπηκε και πάλι σε οχυρό και διατήρησε αυτό το χαρακτήρα έως το 19ο αιώνα. Κατά τη μεσαιωνική περίοδο, το 13ο αιώνα, επισκευάσθηκε το νότιο τείχος της και κατασκευάσθηκαν δύο νέοι πύργοι, ένας στα δυτικά των Προπυλαίων, ο λεγόμενος Κουλάς, που δεν σώζεται σήμερα, και ένας στα βορειοανατολικά, στη θέση όπου σήμερα βρίσκεται το Belvedere. Οι πιο πρόσφατες επισκευές του τείχους διενεργήθηκαν μετά το Β΄ Παγκόσμιο Πόλεμο, στη νοτιοανατολική γωνία του.