Ο περίβολος του κάστρου της Φορτέτζας σώζεται ακέραιος. Τα περισσότερα βέβαια από τα κτίρια που ήταν οικοδομημένα στο εσωτερικό του έχουν κατεδαφιστεί. Χάθηκαν έτσι αξιόλογα κτίσματα της βενετοκρατίας και της τουρκοκρατίας, ωστόσο διατηρούνται κάποια από τα δημόσια κτίρια, όχι ιδιαίτερα αλλοιωμένα από μεταγενέστερες επεμβάσεις. Το φρούριο στα ανατολικά και νότια αποτελείται από τέσσερις κύριους ημιπρομαχώνες-του Αγίου Νικολάου, του Αγίου Παύλου, του Αγίου Ηλία και του Αγίου Λουκά-ενώ στα βόρεια και δυτικά κλείνει με τρεις προεξοχές/ ακμές- του Αγίου Πνεύματος, της Αγίας Ιουστίνης και του Αγίου Σώζοντος. Ανατολικά βρίσκεται η κύρια πύλη, με τους τρεις παράπλευρους θολωτούς χώρους για τη φρουρά, ενώ δευτερεύουσες βοηθητικές πύλες ανοίγονται στα βόρεια και στα δυτικά.

Αμέσως μετά την κεντρική είσοδο ο επισκέπτης συναντά την αποθήκη του Πυροβολικού. Πρόκειται για ένα διώροφο κτίριο, στο οποίο φυλάσσονταν τα κανόνια και τα άλλα εξαρτήματα του πυροβολικού. Στο κέντρο του κάστρου βρίσκεται η "πλατεία". Σε αυτήν βρίσκεται το Τέμενος του Sultan Ibrahim, που χτίστηκε στην ίδια θέση όπου υπήρχε ο καθεδρικός ναός του Αγίου Νικολάου. Νότια του Τεμένους υπάρχει κτίριο που πιθανότατα ανήκε στο συγκρότημα του επισκοπικού μεγάρου. Στο χώρο της πλατείας, απέναντι από το τέμενος, σώζεται κτίριο, το οποίο πιθανόν ήταν οι φυλακές του συγκροτήματος του Palazzo Publico, δηλαδή της κατοικίας του Ρέκτορα -διοικητή- της πόλης.

Πάνω στην προεξοχή της Αγίας Ιουστίνης βρίσκεται το κτίριο των Συμβούλων. Στο χώρο αυτό κατοικούσε, σύμφωνα με τις πηγές, ο ένας από τους δύο Συμβούλους του Ρεθύμνου, ενώ ο άλλος παρέμενε κάτω στην πόλη, για την επιτήρηση της τάξης. Παράλληλα με το τείχος, ανάμεσα στην προεξοχή της Αγίας Ιουστίνης και του Αγίου Σώζοντος, διατηρείται μεγάλο τμήμα των αποθηκευτικών χώρων που είναι γνωστοί ως "Συγκρότημα της Βόρειας Πυλίδας". Πρόκειται για το κυριότερο συγκρότημα αποθηκών της Φορτέτζας, συνδυασμένο με τους χώρους φρουράς της βόρειας βοηθητικής πύλης.

Ακριβώς πάνω από την είσοδο του προμαχώνα του Αγίου Νικολάου σώζεται ένα κτίριο της εποχής της βενετοκρατίας, του οποίου η χρήση δεν έχει προσδιοριστεί με ακρίβεια. Αποτελείται από δύο θολοσκεπείς χώρους και περιβάλλεται από περίβολο. Ακριβώς νότια από το παραπάνω δίδυμο κτίριο, υπάρχει η μικρή εκκλησία του Αγίου Θεοδώρου του Τριχινά. Πρόκειται για ένα μονόχωρο εκκλησάκι, το οποίο εγκαινιάστηκε το 1899 από το ρώσο διοικητή του Ρεθύμνου Θ. Ντε Χιόστακ, χωρίς να γνωρίζουμε αν είναι επισκευή κάποιας παλαιότερης ή κατασκευάστηκε εξ' αρχής στα τέλη του 19ου αιώνα.

Οι πυριτιδαποθήκες ήταν απομονωμένες και κατανεμημένες σε όλο τον περίβολο. Σήμερα σώζονται μόνο δύο, η μια ανάμεσα στις προεξοχές του Αγίου Πνεύματος και της Αγίας Ιουστίνης και η άλλη στην προεξοχή του Αγίου Σώζοντος. Παράλληλα πάνω στο Φρούριο ο επισκέπτης μπορεί να δει αρκετά φρεάτια δεξαμενών για την αποθήκευση του νερού. Ελάχιστα είναι τέλος τα ερείπια ιδιωτικών κατοικιών, κυρίως κοντά στον προμαχώνα του Αγίου Νικολάου.

Τα κτίρια του κάστρου της Φορτέτζας βρίσκονταν σε κακή κατάσταση διατήρησης. Σταδιακά, η 28η Ε.Β.Α. σε συνεργασία με το Δήμο Ρεθύμνου και το Γραφείο Προγραμματικής Σύμβασης Παλιάς Πόλης, προχώρησε στην εκπόνηση μελετών αποκατάστασης των περισσότερων χώρων της Φορτέτζας. Το μεγαλύτερο μέρος των κτιρίων έχει σήμερα αποκατασταθεί, με χρηματοδότηση της Ευρωπαϊκής Ένωσης, μέσω των Περιφερειακών Επιχειρησιακών Προγραμμάτων Κρήτης, ενώ οι εργασίες συνεχίζονται.