Το Αρχαιολογικό Μουσείο της Ολυμπίας, γνωστό και ως Νέο Μουσείο, για να διαχωρίζεται από το παλαιότερο, οικοδομήθηκε κατά τα έτη 1966-1975 σε σχέδια του αρχιτέκτονα Πάτροκλου Καραντινού. Μέχρι τότε λειτουργούσε το Παλαιό Μουσείο, που λεγόταν ''Σύγγρειον'', ανεγέρθη με δωρεά του εθνικού ευεργέτη Ανδρέα Συγγρού.Το μουσείο αυτό είχε κτιστεί το 1885, σε νεοκλασικό ρυθμό, στο λόφο δυτικά της ’λτεως, αλλά είχε παρουσιάσει αρκετές φθορές λόγω των μεγάλων σεισμών, που κατά καιρούς έπληξαν την περιοχή. Εκτός αυτού, ο μεγάλος αριθμός νέων ευρημάτων από τις συνεχιζόμενες ανασκαφές του Γερμανικού Αρχαιολογικού Ινστιτούτου στο ιερό, επέβαλε την ίδρυση ενός μεγαλύτερου μουσείου στην Ολυμπία. Η πρωτοποριακή για την εποχή της έκθεση στο Νέο Μουσείο έγινε από τον τότε Έφορο Αρχαιοτήτων Νικόλαο Γιαλούρη, την Ισμήνη Τριάντη, τον αείμνηστο Στ. Τριάντη, γλύπτη και συντηρητή, και από τους συνεργάτες τους. Τα αντικείμενα μεταφέρονταν σταδιακά από το Παλαιό Μουσείο και τα εγκαίνια της έκθεσης έγιναν το 1982, από την τότε Υπουργό Πολιτισμού Μελίνα Μερκούρη. Μόνο η έκθεση του αγάλματος της Νίκης του Παιωνίου πραγματοποιήθηκε αργότερα, το 1994. Το εξαιρετικά δύσκολο εγχείρημα στησίματος του αγάλματος έγινε από τον Στ. Τριάντη.

Τριάντα χρόνια αργότερα και λόγω των Ολυμπιακών Αγώνων της Αθήνας του 2004 κρίθηκε απαραίτητο να εκτεθούν με νέο τρόπο τα ευρήματα του ιερού, κυρίως τα χάλκινα αντικείμενα και η συλλογή των ρωμαϊκών γλυπτών. Το Σεπτέμβριο του 2003 τα αρχαία της έκθεσης εγκιβωτίσθηκαν με υποδειγματικό τρόπο, προκειμένου να υλοποιηθούν οι εργασίες επανέκθεσης, στο πλαίσιο των οποίων πραγματοποιήθηκε μεγάλο πρόγραμμα επισκευών και επεκτάσεων στο κτήριο, στους εκθεσιακούς, βοηθητικούς και αποθηκευτικούς χώρους. Το μουσείο παρέμεινε κλειστό για ενάμισυ χρόνο και στις 24 Μαρτίου 2004 έγιναν τα εγκαίνια της νέας έκθεσης, η οποία σε γενικές γραμμές ακολούθησε τη φιλοσοφία και τις αρχές της προηγούμενης. Αναμορφώθηκαν η προϊστορική συλλογή, η συλλογή χαλκίνων και η συλλογή της μεγάλης πηλοπλαστικής, ενώ δημιουργήθηκε μία νέα αίθουσα για το εργαστήριο του Φειδία. Διευρύνθηκε η αίθουσα του Ερμή, προκειμένου να «αναπνεύσει? το άγαλμα, το οποίο εκτίθεται με νέα πρωτοποριακή αντισεισμική προστασία, εκτέθηκαν με νέο τρόπο τα ελληνιστικά ευρήματα, καθώς και η συλλογή ρωμαϊκών αγαλμάτων, ενώ στην τελευταία αίθουσα του μουσείου, όπου στην παλαιότερη έκθεση βρισκόταν η συλλογή για τους Ολυμπιακούς Αγώνες, δημιουργήθηκε εξ ολοκλήρου νέα έκθεση με ευρήματα που αφορούν στο τέλος της ζωής του ιερού. Η παλιά χαλκοθήκη (αποθήκη) στην ανατολική πτέρυγα διαμορφώθηκε σε αναψυκτήριο, και στα παλαιά γραφεία της Ζ΄ Εφορείας Προϊστορικών και Κλασικών Αρχαιοτήτων, που ήταν επίσης στην ανατολική πτέρυγα, έγιναν επισκευές και διαμορφώσεις προκειμένου να μεταφερθεί εκεί η χαλκοθήκη. Σε όλες τις αίθουσες τοποθετήθηκαν νέες μοντέρνες προθήκες με νέο τεχνητό φωτισμό και το μουσείο εφοδιάσθηκε με σύστημα κλιματισμού-εξαερισμού. Διαμορφώσεις πραγματοποιήθηκαν και στον περιβάλλοντα του μουσείου χώρο και το πωλητήριο μεταφέρθηκε σε ειδικά διαμορφωμένο κτήριο μεταξύ του μουσείου και του αρχαιολογικού χώρου.