Κατά την περίοδο 1937-1962 δημιουργήθηκε στο Γυμνάσιο Αρρένων Κομοτηνής Αρχαιολογική Συλλογή με αντικείμενα από παράλιους αρχαιολογικούς χώρους της Θράκης.

Το 1962 ιδρύθηκε από το Υπουργείο Παιδείας Εφορεία Αρχαιοτήτων με έδρα την Κομοτηνή, η οποία στεγάστηκε σε παραδοσιακό κτήριο της οδού Μπακάλμπαση 4 (σημερινή ΔΕΥΚΑΚ). Αυτό αποτέλεσε το πρώτο αρχαιολογικό Μουσείο.

Το 1968-1970 οικοδομήθηκε το νέο αρχαιολογικό Μουσείο που εγκαινιάστηκε το 1976.

Το 1994-95 ολοκληρώθηκε η διαδικασία απαλλοτρίωσης των οικοπέδων μπροστά και πίσω από το Μουσείο. Τα κτίσματα κατεδαφίστηκαν και το κτήριο του Μουσείου ελευθερώθηκε και κυριαρχεί πλέον στο χώρο του μικρού πάρκου της πόλης με τη λιτή, αλλά επιβλητική αρχιτεκτονική μορφή του.