Το Φρούριο κτίστηκε από τους Ενετούς, κατά τα πρώτα χρόνια της κυριαρχίας τους στο Χάνδακα, για την καλύτερη προστασία του λιμένα της πόλης, που είχε εξέχουσα στρατηγική και εμπορική σημασία. Το αρχικό κτίσμα, που ήταν χαμηλό και χωρίς σκάρπα, καταστράφηκε από το σεισμό του 1303 και επισκευάστηκε. Στις αρχές του 16ου αι., μέσα στα πλαίσια του γενικότερου επανασχεδιασμού των οχυρώσεων της πόλης, το παλαιό φρούριο κατεδαφίστηκε και στη θέση του κατασκευάστηκε το φρούριο που σώζεται μέχρι σήμερα στο διάστημα από το 1523 (χρονολογία που αναφέρεται σε επιγραφή πάνω από τη βορεινή πύλη) ως το 1540. Οι ογκώδεις δόμοι του μεταφέρθηκαν από τα Φρασκιά και την Ντία. To φρούριο είναι διώροφο και στην τελική του μορφή κάλυπτε επιφάνεια περίπου 3.600 τ.μ. Το ισόγειο χωρίζεται με τοίχους μεγάλου πάχους σε 26 διαμερίσματα που χρησίμευαν ως αποθήκες τροφίμων και πολεμοφοδίων, αλλά και ως κελλιά φυλακής, στα οποία βασανίστηκαν πολλοί Κρήτες επαναστάτες. Στον όροφο είχαν διαμορφωθεί καταλύματα για τον καστελλάνο και τους αξιωματικούς της φρουράς. Υπήρχαν ένας φούρνος, ένας μύλος και μια μικρή εκκλησία. Στις τρεις πλευρές που έβλεπαν προς τη θάλασσα ανοίγονταν θυρίδες για τα πυροβόλα που προστάτευαν το λιμάνι. Στα 1630 υπήρχαν 18 πυροβόλα στο ισόγειο και 25 στον όροφο. Μια κεκλιμένη δίοδος που χρησίμευε στη μεταφορά των πολυβόλων οδηγούσε ως το δώμα. Στη ΒΑ, Δ και Ν πλευρά εξωτερικά ήταν εντοιχισμένες μαρμάρινες ανάγλυφες παραστάσεις του φτερωτού λέοντα της Βενετίας που σήμερα σώζονται ακρωτηριασμένες. Οι επάλξεις του φρουρίου έχουν αναστηλωθεί.