Το κάστρο χτίστηκε πάνω σε απότομο ύψωμα τηε νησίδας Ήμερη Γραμβούσα, στην άκρη της ομώνυμης χερσονήσου, για να προστατέψει το μικρό φυσικό λιμάνι που υπάρχει στο χώρο, στα πλαίσια ενός ευρύτερου σχεδιασμού οχύρωσης της Κρήτης στα τέλη της Βενετοκρατίας.

Άρχισε να κτίζεται το 1584 πάνω σε σχέδια και υπό την επίβλεψη του Latino Orsini. Το σχήμα του φρουρίου είναι ακανόνιστο τρίπλευρο με τείχη και προμαχώνες από τις τρεις πλευρές, ενώ από τη βόρεια καλύπτεται από τα από το μα απροσπέλαστα βράχια.

Η προστατευόμενη πύλη είναι στην ανατολική πλευρά και οδηγεί μέσα από θολωτή στοά στο εσωτερικό του φρουρίου. Στον εκτεταμένο χώρο του βρίσκονται υπόγειες δεξαμενές που συγκέντρωναν τα νερά της βροχής, θεμέλια κτιρίων, ο ναός του Ευαγγελισμού και η πυριτιδαποθήκη, που μετατράπηκε στα χρόνια της Τουρκοκρατίας σε τζαμί.

Το φρούριο παραδόθηκε με προδοσία στους Τούρκους το 1692 και παρέμεινε στην κατοχή τους μέχρι τα χρόνια της επανάστασης του 1821, απότε καταλήφθηκε από επαναστάτες και χρησιμοποιήθηκε ως ασφαλές κέντρο θαλάσσιων επιδρομών, αλλά και πειρατίας. Ανακαταλήφθηκε από τους Τούρκους και παρέμεινε σε πλήρη ερείμωση μέχρι τα τελευταία χρόνια, που έρχισαν εργασίες αξιοποίησής του από το Υπουργείο Πολιτισμού.

Το φρούριο είναι κτισμένο πάμω σε ένα απότομο, επίπεδο ύψωμα με μοναδική πρόσβαση από την ανατολική πλευρά, όπου διαμορφώνεται ένα ελικοειδές μονοπάτι. Το σχήμα του είναι ελλειψοειδές και προσαρμόζεται στη διαμόρφωση του εδάφους με εναλλαγή ευθύγραμμων τμημάτων τείχους και μικρών προμαχώνων, στους οποίους οδηγούν κεκλιμένα λιθόστρωτα. Λόγω της απότομης διαμόρφωσης, το τείχος διακόπτεται στη βορειοανατολική πλευρά. Η κύρια είσοδος προστατεύεται από προ?.και από μια θολωτή στοά γίνεται η είσοδος στο εσωτερικό του φρουρίου, όπου οδηγεί ένα κεκλιμένο επίπεδο. Στο χώρο του φρουρίου σώζονται δυο μεγάλες, θολοσκέπαστες δεξαμενές, που συγκεντρώνουν τα νερά της βροχής από τα λιθόστρωτα. Από τα υπόλοιπα κτίσματα σώζονται ο ναός του Ευαγγελισμού και η πυριτιδαποθήκη, ενώ διακρίνονται τα θεμέλια των στρατώνων, του διοικητηρίου και των άλλων εγκαταστάσεων. Τα τείχη είναι κτισμένα από τοπικό ασβεστόλιθο, εκτός από το cordone, που είναι αποτελείται από λαξευτούς ψαμμίτες.