Το βορειοδυτικό άκρο της Κρήτης καταλαμβάνει η χερσόνησος Γραμβούσα, κοντά στην οποία υπάρχουν τα μικρά νησιά «Ήμερη» και «Άγρια» Γραμβούσα. Ανάμεσα στα νησιά σχηματίζεται ένα αρκετά ασφαλές λιμάνι, το πρώτο που συναντά κάποιος καθώς έρχεται από δυτικά. Στη στρατηγική αυτή θέση, αποφάσισαν οι Βενετοί την οικοδόμηση ενός φρουρίου στo πλαίσιo των γενικότερων προσπαθειών τους για την ενίσχυση της άμυνας της Κρήτης.

Πρώτος που πρότεινε την οχύρωση της νησίδας στους Ενετούς ήταν ο Σοφιανός Ευδαιμονογιάννης, Έλληνας στρατιωτικός στην υπηρεσία των Ενετών.

Η ανέγερση του φρουρίου στην κορυφή του απόκρημνου βράχου στα δυτικά της νησίδας, άρχισε το 1579 σε σχέδια του μηχανικού Latino Orsini. Το φρούριο ακολούθησε τη διαμόρφωση του εδάφους, ενισχύοντας τα πιο αδύνατα μέρη του με προμαχώνες και αφήνοντας ανοχύρωτα τα πιο απότομα. Το φρούριο έχει τριγωνικό σχήμα και διέθετε όλες τις εγκαταστάσεις που χρειάζονταν όπως, χώρους στρατωνισμού, αποθήκες, ναούς, πηγάδια και δεξαμενές νερού. Μετά την κατάληψη της Κρήτης από τους Τούρκους το 1669, το φρούριο παραμένει στην κατοχή των Βενετών, όπως και οι οχυρωμένες νησίδες Σούδα και Σπιναλόγκα. Ο διοικητής του φρουρίου Luca Della Rocca το παρέδωσε στους Τούρκους το 1692, αφού είχε εγκαταλειφθεί από τους Βενετούς και δεν έπαιζε κανένα σημαντικό ρόλο.

Η χρήση του φρουρίου τα επόμενα χρόνια ήταν ασήμαντη. Στη διάρκεια της επανάστασης του 1821, καταλήφθηκε για ένα διάστημα από τους επαναστάτες και χρησίμευσε σαν κέντρο εξορμήσεων και πειρατείας.