Το κτίριο του Αρχαιολογικού Μουσείου, κηρυγμένο ιστορικό μνημείο, χτίστηκε στην περίοδο από το 1600 - 1800 και αποτελεί ένα επιβλητικό δείγμα της αρχιτεκτονικής που αναπτύχθηκε στη Νάξο κατά την ακμή την οποία γνώρισε το νησί στο διάστημα της φραγκοκρατίας.

Είναι πενταώροφο και κατασκευάστηκε στη διαδρομή του φράγκικου τείχους, συμπεριλαμβάνοντας δύο από τους πύργους του. Προοριζόταν για τη στέγαση μιας σχολής Ιησουητών, που ιδρύθηκε το 17ο αι., και κατέληξε στο τέλος του 19ου αι. - αρχές του 20ού να στεγάζει τη γνωστή εμπορική σχολή, ανάμεσα στους μαθητές της οποίας συγκαταλέγεται και ο Ν. Καζαντζάκης.

Παραχωρήθηκε στην Αρχαιολογική Υπηρεσία και χρησιμοποιήθηκε για τη στέγαση του Μουσείου από το 1973.