Το Ιστορικό Μουσείο Κρήτης ιδρύθηκε το 1953 από την Εταιρεία Κρητικών Ιστορικών Μελετών. Στεγάζεται σε νεοκλασικό κτήριο ιδιοκτησίας των Φιλανθρωπικών Ιδρυμάτων Ανδρέου και Μαρίας Καλοκαιρινού. Το κτήριο αποτελούσε την οικία του Ανδρέα και της Μαρίας Καλοκαιρινού. Μετά το θάνατο του Ανδρέα Λ. Καλοκαιρινού το 1930, το οίκημα (σύμφωνα με τη διαθήκη του), περιήλθε στην ιδιοκτησία των Φιλανθρωπικών Ιδρυμάτων Ανδρέου και Μαρίας Καλοκαιρινού. Με μέριμνα του εκτελεστή της διαθήκης Ανδρέα Γ. Καλοκαιρινού η χρήση του παραχωρήθηκε στην Εταιρεία Κρητικών Ιστορικών Μελετών για να στεγαστεί το Ιστορικό Μουσείο Κρήτης.

Το νεοκλασικό κτήριο βρίσκεται στην θέση όπου άλλοτε υπήρχε το σπίτι της οικογένειας Κρασαδάκη που ερειπώθηκε το 1856 από σεισμό. Ο γνωστός από τις ανασκαφές του στη Κνωσό, Μίνως Α. Καλοκαιρινός έκτισε στη θέση του το 1870, ένα θαυμάσιο κτήριο με την επίβλεψη του αρχιτέκτονα Λ. Καυταντζόγλου και ειδικού μηχανικού που εκλήθη από τη Σμύρνη. Το σπίτι πυρπολήθηκε και καταστράφηκε κατά τα γεγονότα της 25ης Αυγούστου 1898. Στην ίδια θέση ο Ανδρέας Λ. Καλοκαιρινός έκτισε το 1903, με αρχιτεκτονική μελέτη του Κ. Τσαντηράκη που βασίστηκε στην προηγούμενη λύση, το σημερινό οίκημα.

Το νεοκλασικό κτήριο έχει χαρακτηριστεί ιστορικό διατηρητέο μνημείο και έργο τέχνης. Εϊναι λιθόκτιστο, διώροφο με το ισόγειό του υπερυψωμένο πάνω σε "scarpa" κατά τα ενετικά πρότυπα. Η είσοδος διαμορφώνεται με μαρμάρινο προστώο και δύο δωρικούς κίονες από λευκό πεντελικό μάρμαρο. Η οροφή του προστώου διαμορφώνεται στον όροφο σε μικρό εξώστη με μαρμάρινο καφασωτό κιγκλίδωμα που ήταν αντίγραφο εκείνο της οικίας Κ. Καραπάνου στην οδό Σταδίου των Αθηνών. Η μαρμάρινη αυτή σύνθεση είναι έργο του γλύπτη Κ. Περιβολιώτη. Τα παράθυρα του ισογείου στην πρόσοψη καθώς και στο νότιο τμήμα της ανατολικής και δυτικής όψης έχουν ημικυκλικά υπέρθυρα και πλασιώνονται από Καρυάτιδες (Ερμαί) που φέρουν αέτωμα, ενώ τα λοιπά έχουν απλά ευθύγραμμα περιθυρώματα. Στην νότια πλευρά του κτηρίου υπάρχει αύλειος χώρος που περιφράσσεται από νεοκλασικής μορφής αυλότοιχο. Τα σιδερένια κιγκλιδώματα και η πόρτα είναι έργο του Θωμά Τσοκοπούλου. Το εσωτερικό του κτηρίου έχει ζωφόρους στις επιστέψεις των τοίχων του διαδρόμου με θέματα από την Ιλιάδα και την Οδύσσεια. Η οροφή του διαδρόμου καλύπτεται με διακοσμητικά φατνία, ενώ οροφογραφίες με φυτικά θέματα κοσμούν τις αίθουσες. Τα παραπάνω αποτελούν έργα τεχνιτών που εργάζονταν για το διακοσμητή Αντώνη Στεφανόπουλο.

Το 1953 το κτήριο ανακαινίσθηκε βάση σχεδίων των μηχανικών Ι. Τζομπανάκη και Κ. Λασιθιωτάκη για να λειτουργήσει ως μουσείο. Το 1961 προστέθηκε μία νέα τριώροφη πτέρυγα με σχέδια του Πατρόκλου Καραντινού στην οποία από το 1988 έως και το 1997 έγιναν σημαντικές προσθήκες (αναμόρφωση των εξωτερικών όψεων και νέα διαρρύθμιση του εσωτερικού) με σχέδια του αρχιτέκτονα Γιάννη Περτσελάκη.

Η σημερινή μορφή του Μουσείου είναι συνδυασμός νεοκλασικής και μοντέρνας αρχιτεκτονικής.