Το μουσείο ιδρύθηκε το 1953. Στεγάζεται σε νεοκλασικό κτίριο ιδιοκτησίας των Φιλανθρωπικών Ιδρυμάτων Α. και Μ. Καλοκαιρινού. Κτίστηκε στη θέση παλαιότερου αρχοντικού το 1870 με σχέδια του Λ. Κανταντζόγλου.Πυρπολήθηκε και καταστράφηκε από τους Τούρκους κατά τα γεγονότα της 25ης Αυγούστου 1898. Επανακατασκευάστηκε το 1903 σε σχέδια του Κ. Τσαντηράκη (τα οποία σώζονται), που βασίστηκαν στην προηγούμενη λύση.

Εχει χαρακτηριστεί ως Ιστορικό Διατηρητέο Μνημείο και Έργο Τέχνης. Διώροφο κτίριο, εξαίρετοδείγμα της νεοκλασσικής αρχιτεκτονικής. Η είσοδος διαμορφώνεται με μαρμάρινο προστώο και πώρινους κίονες. Τα παράθυρα του ισογείου στην πρόσοψη καθώς και στο νότιο τμήμα της ανατολικής και δυτικής όψης έχουν ημικυκλικά υπέρθυρα και πλαισιώνονται από καρυάτιδες (Ερμαί) που φέρουν αέτωμα ενώ τα λοιπά έχουν απλά ευθύγραμμα περιθυρώματα. Η βόρεια πλευρά του κτιρίου διαμορφώνεται σε 'SCARPA' κατά τα ενετικά πρότυπα. Στη νότια πλευρά του κτιρίου υπάρχει αύλειος χώρος που περιφράσσεται από νεοκλασσικής μορφής αυλότοιχο. Το εσωτερικό του κτιρίου έχει ζωφόρους στις επιστέψεις των τοίχων με θέματα από την Ιλιάδα και την Οδύσσεια.

Η σημερινή του μορφή (19 αίθουσες, 2 αυλές, βιβλιοθήκη κ.λπ.) είναι συνδυασμός νεοκλασικής και μοντέρνας αρχιτεκτονικής. Εργασίες επέκτασης ξεκίνησαν το 1989 και η προσθήκη νέων αιθουσών ολοκληρώθηκε το 1997.