Στη θέση της σημερινής πόλης του Ηρακλείου υπήρχε στην αρχαιότητα το ομώνυμο λιμάνι της Κνωσού, το οποίο αναφέρεται από το Στράβωνα (Χ, 476, 7). Ο οικισμός εξακολούθησε να υφίσταται με το ίδιο όνομα ως τους πρώιμους βυζαντινούς χρόνους, οπότε εμφανίστηκε και η ονομασία "Κάστρο", λόγω της ύπαρξης οχύρωσης. Το 827/8 το Ηράκλειο καταλήφθηκε από τους Άραβες της Ανδαλουσίας με αρχηγό τον Abu Hafs Omar. Οι κατακτητές βελτίωσαν σημαντικά την προϋπάρχουσα οχύρωση και την ενίσχυσαν με τάφρο. Έτσι το Ηράκλειο την εποχή αυτή έλαβε την ονομασία Rabdh Αl Khandaq, δηλαδή "Φρούριο της Τάφρου". Από την ονομασία αυτή προέκυψαν το όνομα "Χάνδαξ", που απαντά στη δεύτερη βυζαντινή περίοδο, και το όνομα "Candia" που ήταν σε χρήση την περίοδο της Ενετοκρατίας. To 961 τα βυζαντινά στρατεύματα με επικεφαλή το Νικηφόρο Φωκά κατάφεραν να ανακτήσουν το νησί και την πόλη μετά από 135 χρόνια αραβικής κατοχής. Η πόλη γνώρισε εκτεταμένη καταστροφή, αλλά η οχύρωση δεν κατεδαφίστηκε πλήρως, όπως υποστηρίχθηκε παλαιότερα, γιατί λείψανά της έχουν εντοπιστεί κατά την αρχαιολογική έρευνα. Ακολούθησε μια αποτυχημένη απόπειρα του Νικηφόρου Φωκά να μεταφέρει την πρωτεύουσα νότια του Χάνδακα, σε απόκρημνο λόφο τον οποίο οχύρωσε με φρούριο, γνωστό ως "Τέμενος". Η πόλη του Χάνδακα γρήγορα ανέκαμψε από την καταστροφή, ανοικοδομήθηκε και έγινε ξανά το διοικητικό και θρησκευτικό κέντρο του νησιού. Τις παραμονές της Δ΄ Σταυροφορίας η Κρήτη παραχωρήθηκε ως αντάλλαγμα από τον αυτοκράτορα του Βυζαντίου Αλέξιο Άγγελο στον μαρκίωνα του Μομφερράτου Βονιφάτιο, ο οποίος με τη σειρά του στις 12/8/2004 την εκχώρησε με συνθήκη ("Refutatio Cretae") στους Ενετούς. Οι τελευταίοι δεν εγκαταστάθηκαν αμέσως στο νησί, με αποτέλεσμα το 1206 γενουάτες πειρατές με αρχηγό τον Ερρίκο Pescatore να καταλάβουν μεγάλο τμήμα του μαζί με το Χάνδακα. Η κατοχή των Ενετών στο νησί δεν οριστικοποιήθηκε παρά στα 1211. Στο Χάνδακα εγκαταστάθηκε ο Δούκας του Βασιλείου της Κρήτης. Τα βυζαντινά τείχη της πόλης είχαν πιθανόν ήδη ανακαινιστεί από τον Pescatore. Ωστόσο μετά την καταστολή των εσωτερικών επαναστάσεων και την εμφάνιση της οθωμανικής απειλής, οι Ενετοί αποφάσισαν να ασχοληθούν με τη βελτίωση των οχυρώσεων. Στο διάστημα που είχε μεσολαβήσει, οι κάτοικοι των βούργων της βυζαντινής περιόδου, δηλαδή των προαστείων, αυξήθηκαν σημαντικά σε αριθμό, με αποτέλεσμα να αποτελούν ένα σημαντικό ποσοστό του πληθυσμού, που δεν μπορούσε να παραμένει χωρίς οχυρωματική προστασία. Έτσι αποφασίστηκε να εγκαταλειφθεί το βυζαντινό τείχος και η αμυντική προστασία της πόλης σχεδιάστηκε από την αρχή. Στο μεγαλόπνοο και χρονοβόρο αυτό έργο συνεργάστηκαν πολυάριθμοι μηχανικοί σταλμένοι από τη Βενετία, αλλά κύριος εμπνευστής του υπήρξε ο διασημότερος στρατιωτικός μηχανικός της Βενετίας, ο Michele Sanmicheli. Η οθωμανική κατάκτηση της Κρήτης άρχισε στα 1645 με την κατάληψη των Χανίων. Το επόμενο έτος έπεσε στα χέρια των Οθωμανών και το Ρέθυμνο. Το 1648 τα οθωμανικά στρατεύματα εμφανίστηκαν μπροστά στα τείχη του Χάνδακα. Η πολιορκία του ισχυρού οχυρού υπήρξε μοναδική σε διάρκεια στην παγκόσμια ιστορία, αφού κράτησε 21 ολόκληρα χρόνια. Τελευταίος υπερασπιστής του ο Φραγκίσκος Morosini με τη συνδρομή των ντόπιων κατοίκων και λίγων επικουρικών δυνάμεων σταλμένων από τον πάπα, τους Ιωαννίτες ιππότες, την Ισπανία, τη Γαλλία και το Δούκα της Σαβοΐας. Καθοριστικό ρόλο στην άλωση της πόλης έπαιξε η προδοτική στάση του συνταγματάρχη του μηχανικού Andrea Barozzi, ο οποίος αποκάλυψε στον εχθρό τα αδύνατα σημεία των οχυρώσεων. Ο Morosini αναγκάστηκε να συνθηκολογήσει στις 16 Σεπτεμβρίου 1669, μετά από επίπονες διαπραγματεύσεις με το βεζίρη Αχμέτ Κιοπρουλή. Η οθωμανική κατάκτηση ανέκοψε την πορεία ανάπτυξης του νησιού και την άνθιση της κρητικής αναγέννησης στα γράμματα και τις τέχνες, οδήγησε στη συρρίκωνση του πληθυσμού και στην παρακμή των αστικών κέντρων. Τριάντα χρόνια μετά την κατάκτησή του ο Χάνδακας, το Μεγάλο Κάστρο, χαρακτηριζόταν από τους περιηγητές ως "λείψανο πόλεως".

Η οχύρωση της πρώτης βυζαντινής περιόδου πρέπει να περιοριζόταν στο τμήμα της σημερινής πόλης γύρω από την Κρήνη Μοροζίνι και έως την οδό Δουκός Μποφώρ. Το τείχος της αραβοκρατίας, ευρύτερο, ήταν αρκετά ισχυρό, με λίθινη κρηπίδα και ανωδομή από πλίνθους. Είχε κυκλικούς πύργους και ευθύγραμμα μεταπύργια τμήματα. Στην εξωτερική του πλευρά διαμορφωνόταν τάφρος. Ίχνη της κρηπίδας του έχουν εντοπιστεί σε αρκετά σημεία της πόλης, και κυρίως κατά μήκος της οδού Δαιδάλου, στα θεμέλια της οχύρωσης της δεύτερης βυζαντινής περιόδου.

Τα επιβλητικά τείχη της περιόδου της Ενετοκρατίας άρχισαν να κατασκευάζονται στα 1462 και η οικοδόμησή τους διήρκεσε σχεδόν ως την άλωσή τους. Σήμερα είναι το καλύτερα διατηρημένο οχυρωματικό έργο στη Μεσόγειο. Παρουσίαζαν την πιο εξελιγμένη εκδοχή της οχυρωματικής τέχνης της εποχής τους και ήταν τόσο ισχυρά, ώστε άντεξαν αλώβητα την εικοσαετή πολιορκία από το στρατό της οθωμανικής αυτοκρατορίας, τον ισχυρότερο του τότε κόσμου. Στην πραγματικότητα δεν θα είχαν πέσει ποτέ χωρίς την προδοσία του A. Barozzi που οδήγησε στην παράδοση της πόλης. Η εισαγωγή της χρήσης πυροβόλων όπλων επέβαλε την αλλαγή του σχεδιασμού των οχυρώσεων. Η σημερινή μορφή των τειχών του Χάνδακα οφείλεται σε πρωτοποριακό σχεδιασμό των ενετών μηχανικών του 16ου αι. Ο οχυρωματικός περίβολος, συνολικού μήκους 7 χλμ., έχει σχήμα τριγώνου, με τη βάση προς τη θάλασσα, και αποτελεί ουσιαστικά ένα τεράστιο ανάχωμα. Η καθαίρεση του εδάφους σε μεγάλο βάθος περιμετρικά του περιβόλου δημιούργησε την τάφρο που περιβάλλει από ξηράς την οχύρωση. Το χώμα που αφαιρέθηκε από την τάφρο χρησιμοποιήθηκε στη δημιουργία ενός ψηλού αναχώματος με κεκλιμένη εξωτερική παρειά, η οποία επενδύθηκε με μικρούς πελεκημένους ασβεστόλιθους (scarpa). Η διάταξη αυτή αποσκοπούσε στην καλύτερη απόσβεση των βολών των πυροβόλων και στη μεγαλύτερη στατική επάρκεια. Δυστυχώς το χώμα στο εσωτερικό του αναχώματος δεν συμπιέστηκε αρκετά, με αποτέλεσμα να παρουσιάζονται σήμερα αρκετά στατικά προβλήματα. Η ένωση της σκάρπας με το παραπέτο τονιζόταν με λίθινο cordone. Η μεγάλη ωστόσο καινοτομία στο σχεδιασμό του τείχους του Χάνδακα ήταν το σύστημα των προμαχώνων και αντιπρομαχώνων που κάλυπτε το χερσαίο τμήμα. Υπήρχαν συνολικά επτά προμαχώνες (Sabbionera, Vitturi, Ιησού, Martinengo, Βηθλεέμ, Παντοκράτορα και Αγίου Ανδρέα) που προεξείχαν από το τείχος ανά αποστάσεις και ήταν καρδιόσχημοι στη μορφή. Κάθε προμαχώνας ενωνόταν με το τείχος με ένα λαιμό που διέθετε σε κάθε του πλευρά από μια πλατεία σε χαμηλότερο επίπεδο, με δύο θυρίδες για τα πυροβόλα. Το πυροβόλο της εσωτερικής θυρίδας έβαλε πλάγια και σε απόσταση, ενώ εκείνο της εξωτερικής κάλυπτε την περιοχή μπροστά στα τείχη. Για την καλύτερη εποπτεία της περιοχής, διαμορφώθηκαν επιπρομαχώνες σε μορφή κόλουρης πυραμίδας. Μια κεκλιμένη δίοδος χρησίμευε στην μεταφορά των πυροβόλων από το επίπεδο του εδάφους ως τις πλατείες και τους επιπρομαχώνες. Οι πύλες, συνολικά τέσσερις (του Μώλου, του Αγίου Γεωργίου ή Λαζαρέτου, του Ιησού και του Παντοκράτορα), που ήταν παλαιότερα το πιο ευαίσθητο σημείο των τειχών, τοποθετήθηκαν τώρα στο εσωτερικό των προμαχώνων. Το καρδιόσχημο σχήμα των προμαχώνων προσέφερε καλύτερη αντίσταση στις επιθέσεις με πυροβόλα όπλα, αλλά και δυσκόλευε σημαντικά την κατά μέτωπο επίθεση του στρατού των πολιορκητών. Το μεγάλο βάθος της τάφρου εγκλώβιζε τον εχθρό που ήταν υποχρεωμένος να εισέλθει στο εσωτερικό της για να προσεγγίσει το τείχος και η μορφή των προμαχώνων, σε συνδυασμό με τα γωνιώδη αντιτειχίσματα που κάλυπταν τα κενά ανάμεσά τους, εξανάγκαζε τον εχθρό να συγκεντρώνεται στο χώρο ανάμεσα στους λαιμούς των προμαχώνων, όπου ήταν απροστάτευτος από τις βολές των πυροβόλων που βρίσκονταν στις χαμηλές πλατείες. Ταυτόχρονα οι αντιπρομαχώνες εμπόδιζαν τις βολές των πυροβόλων του εχθρού προς το τείχος. Η τάφρος του Χάνδακα δεν είχε ποτέ νερό και ο ρόλος της στην αμυντική προστασία της πόλης, όπως περιγράφηκε πιο πάνω, αποτελεί σοβαρή ένδειξη ότι πιθανότατα δεν προοριζόταν για κάτι τέτοιο.