Το κτήριο του Μουσείου της Ιστορίας των ανασκαφών στην Ολυμπία είναι το λεγόμενο Παλαιό Εφορείο και κτίστηκε στις αρχές του 20ου αι., ενδεχομένως λίγο αργότερα από το νεοκλασικό κτήριο του Μουσείου της Ιστορίας των Ολυμπιακών Αγώνων (Παλαιό Μουσείο). Οικοδομικές επεμβάσεις και μικρές προσθήκες έγιναν στη δεκαετία του 1950.

Αρχικά λειτουργούσε ως βοηθητικός χώρος του Παλαιού Μουσείου. Αργότερα ως χώρος γραφείων του Εφόρου Αρχαιοτήτων, και τέλος ως χώρος διαμονής των εφόρων και των αρχαιολόγων που έρχονταν να εργαστούν στην Ολυμπία. Κατά τη δεκαετία του 1990 λειτουργούσε ως αποθηκευτικός χώρος της οικείας Εφορείας Αρχαιοτήτων.

Το 2003 αποφασίστηκε από το Υπουργείο Πολιτισμού το κτήριο να γίνει εκθεσιακός χώρος και να παρουσιαστεί η ιστορία της μεγάλης ανασκαφής του Ιερού του Διός της Ολυμπίας.