Το 16ο αιώνα όταν ο τουρκικός κίνδυνος άρχισε να διαφαίνεται και στην Κρήτη, η Βενετία αποφασίζει την αμυντική θωράκιση του λιμανιού της Σούδας με την οχύρωση της μεγάλης βραχονησίδας που βρίσκεται στην είσοδο του.

Οι εργασίες ανατέθηκαν από τη Γερουσία της Βενετίας στο μηχανικό Latino Orsini και ξεκίνησαν το 1572. Λόγω της πιθανής εφόδου από την πλευρά του στενού στομίου ή αποβάσεως στην παρακείμενη ξέρα «των κουνελιών», στη βόρεια και δυτική πλευρά του περιβόλου κατασκευάστηκε πλήρες προμαχωνικό μέτωπο με τους προμαχώνες Martinengo, Michiel και Orsini. Η υπόλοιπη περίμετρος του περιβόλου καλύπτεται από τεθλασμένα τείχη χωρίς επιχωματώσεις που παρακολουθούν τη μορφή του εδάφους. Στα νοτιοδυτικά του νησιού, βρίσκεται η κεντρική είσοδος του φρουρίου, με τη θολωτή στοά και το μνημειώδες θύρωμα στην εσωτερική της πλευρά.

Η αμυντική κάλυψη του στομίου του λιμανιού, με τα απαραίτητα για την αντιμετώπιση των πλοίων χαμηλά πυρά, επιτυγχάνεται με την ημισέληνο της Linguetta, η οποία κατασκευάστηκε από τον Orsini τo 1574 και τον επιπρομαχώνα Falcon.

Στην ανατολική πλευρά του νησιού δεν υπάρχουν συνεχόμενα τείχη, λόγω του απόκρημνου του εδάφους, αλλά πρόχειρα τεθλασμένα τείχη, καθώς και η piazza Tiepola. Στο ψηλότερο σημείο του νησιού διαμορφώθηκε ο επιπρομαχώνας Mocenigo το 1587, ο οποίος φέρει ανοικτές κανονιοθυρίδες και ικανού πάχους θωράκια.

Στα βορειοανατολικά υπάρχει ο ημιπρομαχώνας Martinengo και η βοηθητική πυλίδα που οδηγεί στο χαμηλότερο τμήμα του νησιού όπου βρισκόταν το νεκροταφείο.

Στο εσωτερικό του φρουρίου υπήρχαν οι κατοικίες των αξιωματούχων, στρατώνες, ναοί, νοσοκομείο, αποθήκες σιτηρών και πυρομαχικών, πυριτιδαποθήκες, μύλοι, φούρνοι, πηγάδια και δεξαμενές νερού.