Η ανέγερση του Μουσείου των Ολυμπιακών Αγώνων της Αρχαιότητας, το οποίο πριν ανοίξει τις πύλες του με αυτό τον τίτλο ήταν γνωστό ως Παλαιό Μουσείο ή Σύγγρειον, ολοκληρώθηκε στα 1888 και ήταν το πρώτο επαρχιακό Μουσείο που κτίστηκε στην Ελλάδα, με δωρεά του εθνικού ευεργέτη Ανδρέα Συγγρού. Τα πολυάριθμα ευρήματα από το ιερό της Ολυμπίας ήταν ο λόγος ανέγερσής του. Τα αρχιτεκτονικά σχέδια του νεοκλασικού οικοδομήματος έκαναν οι Γερμανοί αρχιτέκτονες F. Adler και W. Dorpfeld, οι οποίοι άλλωστε είχαν συνδέσει το όνομά τους με τις ανασκαφές της Ολυμπίας, που είχαν ήδη αρχίσει από το 1875.

Στην κεντρική αίθουσα του Μουσείου φιλοξενήθηκαν τα γλυπτά από το ανατολικό και δυτικό αέτωμα του ναού του Διός, καθώς και οι μετόπες, ενώ στο βάθος της αίθουσας δέσποζε το άγαλμα της Νίκης του Παιωνίου. Στην πίσω από την κεντρική αίθουσα (σημερινή 7) βρισκόταν το άλλο γνωστό άγαλμα της Ολυμπίας, ο Ερμής του Πραξιτέλους. Οι υπόλοιπες αίθουσες φιλοξενούσαν μερικά από τα ευρήματα του Ιερού, όπως χάλκινα αντικείμενα, γλυπτά, κ.ά.

Το κτίριο του Παλαιού Μουσείου υπέστη μεγάλες ζημιές από τους σεισμούς που έπληξαν την περιοχή στα 1954. Εν τω μεταξύ οι συνεχιζόμενες ανασκαφές του Γερμανικού Αρχαιολογικού Ινστιτούτου στην ’λτη, έφερναν στο φως συνεχώς νέα σημαντικά ευρήματα, τα οποία δεν υπήρχε χώρος να στεγαστούν. Τότε κρίθηκε απαραίτητη η ανέγερση ενός νέου Μουσείου στην Ολυμπία. Mετά την κατασκευή του Νέου Αρχαιολογικού Μουσείου, το Παλαιό Μουσείο ήταν κλειστό για χρόνια. Εδώ βρίσκονταν μόνο εκμαγεία των γλυπτών των αετωμάτων, η Νίκη του Παιωνίου (μέχρι την έκθεσή της το 1994 στο Νέο Αρχαιολογικό Μουσείο), και ο κολοσσικός κορμός του Αυγούστου, που σήμερα εκτίθεται στο περιστύλιο του Αρχαιολογικού Μουσείου. Οι υπόλοιποι χώροι του Παλαιού Μουσείου ήταν αποθηκευτικοί και εργαστήρια συντήρησης.

Η αναπαλαίωση και επισκευή του κτηρίου είχε δρομολογηθεί ήδη από τη δεκαετία του 1980. Όμως μόλις το 1999, με αφορμή τους Ολυμπιακούς Αγώνες της Αθήνας το 2004, άρχισαν οι εργασίες αυτές, ύστερα από σύνταξη των σχετικών μελετών. Οι εργασίες επισκευής ολοκληρώθηκαν το 2003 και στη συνέχεια πραγματοποιήθηκαν οι εργασίες της έκθεσης για την Ιστορία των Ολυμπιακών Αγώνων της Αρχαιότητας. Για το σκοπό αυτό εργάστηκαν ομάδες διαφόρων ειδικοτήτων του Υπουργείου Πολιτισμού, προκειμένου το έργο να ολοκληρωθεί εγκαίρως. Τα εγκαίνια της έκθεσης έγιναν στις 24/3/2004.

Η έκθεση αναπτύσσεται κατά θεματικές ενότητες, παρουσιάζοντας την ιστορία των αγώνων από τα προϊστορικά χρόνια, έως στο τέλος της αρχαιότητας. Στη μεγάλη κεντρική αίθουσα παρουσιάζεται η ενότητα των Ολυμπιακών αγωνισμάτων, ενώ οι δύο τελευταίες αίθουσες φιλοξενούν ευρήματα από άλλα μεγαλα ιερά της αρχαιότητας (Δελφοί, Νεμέα, Αθήνα), εφόσον σε αυτές γίνεται σύντομη παρουσίαση των άλλων πανελληνίων αγώνων, των Πυθίων, Νέμεων, Ισθμίων και Παναθηναίων.

Στο υπόγειο του Μουσείου πρόκειται να τοποθετηθούν πολυμέσα για την πληροφόρηση των επισκεπτών μέσω ηλεκτρονικών συστημάτων, ενώ σε ειδικά διαμορφωμένο χώρο θα εφαρμόζονται τα εκπαιδευτικά προγράμματα με θέμα τους Ολυμπιακούς Αγώνες.