Το Πρυτανείο ήταν από τα αρχαιότερα και σημαντικότερα κτίσματα της Ολυμπίας, αφού αποτελούσε το κέντρο της διοικητικής και πολιτικής ζωής του ιερού και το κέντρο διοίκησης των Ολυμπιακών Αγώνων. Βρίσκεται μέσα στον ιερό περίβολο, ακριβώς στη βορειοδυτική γωνία του, δίπλα στην είσοδο της Άλτεως και απέναντι από το γυμνάσιο. Ήταν η έδρα των πρυτάνεων, αξιωματούχων του ιερού και υπευθύνων για τις θυσίες στους βωμούς των θεών, που γίνονταν μία φορά κάθε μήνα. Ο Παυσανίας (5.15.8) το αναφέρει ως ''Πρυτανείο των Ηλείων''. Η κατασκευή του χρονολογείται στο τέλος του 6ου ή στις αρχές του 5ου αι. π.Χ. και αρχικά ήταν ένα μικρό οικοδόμημα, το οποίο σταδιακά διευρύνθηκε με τις διάφορες προσθήκες και μετασκευές που δέχθηκε στα μεταγενέστερα χρόνια.

Το κτήριο είναι τετράγωνο, με μήκος πλευράς 32,80 μ. Στο μέσο της νότιας πλευράς του υπάρχει είσοδος, που οδηγεί σε ένα τετράγωνο δωμάτιο στο κέντρο του κτηρίου, με διαστάσεις 6,80 x 6,80 μ. Εδώ υπήρχε η ιερή εστία του Κοινού των Ηλείων, όπου έκαιγε το ''άσβεστον πυρ''. Σύμφωνα με τον Παυσανία η εστία ήταν σχηματισμένη από στάχτη και πάνω σε αυτή έκαιγε φωτιά μέρα και νύχτα. Τη στάχτη αυτή από την εστία τη μετέφεραν στο μεγάλο βωμό του Δία και αυτό συντελούσε στην αύξηση του όγκου του βωμού. Στο πρυτανείο βρισκόταν και το εστιατόριο, όπου οι Ηλείοι παρέθεταν τα επίσημα δείπνα προς τιμήν των Ολυμπιονικών. Η ακριβής θέση του δεν είναι γνωστή, αλλά πιθανόν ήταν στη στοά της δυτικής πλευράς ή στο βόρειο τμήμα του κτηρίου. Επίσης, στο εσωτερικό του πρυτανείου, δεξιά της εισόδου, υπήρχε και βωμός αφιερωμένος στο θεό Πάνα.

Σήμερα το εσωτερικό του μνημείου δεν είναι επισκέψιμο.