Ο ιππόδρομος βρισκόταν στο νοτιοανατολικό άκρο του ιερού της Ολυμπίας, στη μεγάλη επίπεδη έκταση νότια του σταδίου και σχεδόν παράλληλα με αυτό. Μέχρι σήμερα δεν έχει εντοπισθεί η ακριβής θέση του, επειδή πιθανότατα οι εγκαταστάσεις του έχουν παρασυρθεί από τον ποταμό Αλφειό, που κατέκλυσε την περιοχή στα μεσαιωνικά χρόνια, όταν σταμάτησε να συντηρείται το ανάχωμα που υπήρχε στη δεξιά του όχθη. Ωστόσο, ήταν ένα από τα πιο σημαντικά μνημεία της Ολυμπίας, αφού εδώ γίνονταν τα ιππικά αγωνίσματα και οι αρματοδρομίες των Ολυμπιακών Αγώνων.

Τις πληροφορίες μας για τον ιππόδρομο της Ολυμπίας αντλούμε από τον περιηγητή Παυσανία, ο οποίος μάς δίνει αναλυτική περιγραφή του μνημείου (6.20.10-21). Ήταν ένας μεγάλος επιμήκης, πλατύς και επίπεδος χώρος, που το συνολικό μήκος του υπολογίζεται στα 780 μ. και το πλάτος του περίπου στα 320 μ. (ο Παυσανίας αναφέρει, ότι το μήκος του ήταν τέσσερα στάδια και το πλάτος ένα στάδιο και τέσσερα πλέθρα). Ο αγωνιστικός χώρος ήταν στενόμακρος και κατά μήκος του υπήρχε το λεγόμενο ''έμβολο'', ένα λίθινο ή ξύλινο χώρισμα μήκους δύο σταδίων, που τον χώριζε σε δύο διαδρόμους. Τα άλογα ή τα άρματα έτρεχαν όλα στον ένα διάδρομο, με κατεύθυνση προς τα ανατολικά και όταν έφθαναν στο τέλος, παρέκαμπταν το άκρο του εμβόλου και έστριβαν στον άλλο διάδρομο, με κατεύθυνση προς τα δυτικά. Η συνολική απόσταση που διένυαν ποίκιλλε ανάλογα με το αγώνισμα. Γύρω από το στίβο υπήρχε χώρος για τους θεατές. Στο βόρειο τμήμα χρησιμοποιήθηκε το φυσικό πρανές, ενώ στις άλλες πλευρές είχαν δημιουργηθεί τεχνητά επικλινή επίπεδα με επισώρευση χωμάτων. Στο δυτικό τμήμα του βορείου πρανούς υπήρχε ιδιαίτερη θέση για τους κριτές των αγώνων. Η δυτική πλευρά του ιπποδρόμου έκλεινε με τη στοά του αρχιτέκτονα Αγνάπτου, η οποία δεν έχει βρεθεί στις ανασκαφές και, επομένως, η μορφή της δεν είναι γνωστή. Εκεί βρισκόταν το πιο εντυπωσιακό μέρος του ιπποδρόμου, η ιππάφεση, δηλαδή η αφετηρία των αλόγων. Το πολύπλοκο σύστημα της ιππάφεσης, που είχε επινοήσει ο ανδριαντοποιός Κλέοιτας, μας περιγράφει αναλυτικά ο Παυσανίας. Δεν ήταν σε ευθεία γραμμή, αλλά είχε σχήμα πλώρης πλοίου, δηλαδή ενός ισοσκελούς τριγώνου με κτιστά χωρίσματα στις δύο πλευρές, που όριζαν τις θέσεις των αλόγων ή των αρμάτων. Στην κορυφή του τριγώνου βρισκόταν ένα χάλκινο δελφίνι επάνω σε πάσσαλο, ενώ στη βάση του, μπροστά από τη στοά του Αγνάπτου, υπήρχε βωμός, επάνω στον οποίο στηριζόταν ένας χάλκινος αετός με ανοιγμένα φτερά. Μέσα στο βωμό βρισκόταν ο μηχανισμός, που τον χειριζόταν ένα μόνο άτομο. Μπροστά από τα άλογα ή τα άρματα υπήρχαν τεντωμένα σχοινιά, που εμπόδιζαν την εκκίνηση. Κατά την ιππάφεση, τα σχοινιά έπεφταν σταδιακά, ξεκινώντας από τα άλογα που βρίσκονταν πιο πίσω, ενώ παράλληλα, άρχιζε να βυθίζεται το χάλκινο δελφίνι και να υψώνεται ο αετός. Όταν όλα τα άλογα ή άρματα έρχονταν στην ίδια ευθεία, στη βάση του διαδρόμου, και ο αετός ήταν ορατός από όλους τους θεατές, ηχούσαν οι σάλπιγγες και άρχιζε ο αγώνας. Κοντά στην αφετηρία ήταν στημένο το άγαλμα της Ιπποδάμειας, που κρατούσε την ταινία του νικητή, ενώ στο νοτιοανατολικό άκρο του ιπποδρόμου υπήρχε στρογγυλός βωμός, αφιερωμένος στον Ταράξιππο, θεότητα που ονομαζόταν έτσι επειδή προξενούσε ταραχή στα άλογα.

Προς το τέλος της βόρειας πλευράς του ιπποδρόμου υπήρχε το Ιερό της Δήμητρας Χαμύνης, το οποίο πρόσφατα έφερε στο φως η Ζ' Εφορεία Αρχαιοτήτων.