Στο χώρο που εκτείνεται ανατολικά του ναού της Ήρας και του Πελοπίου υπήρχε στην αρχαιότητα ο μεγάλος βωμός του Δία, από τον οποίο, όμως, σήμερα δεν διατηρείται κανένα ίχνος. Ωστόσο, τα πολυάριθμα χάλκινα ειδώλια που βρέθηκαν στο χώρο μέσα σε παχύ στρώμα στάχτης, προέρχονται από το βωμό αυτό. Σύμφωνα με το μύθο, τη θέση του βωμού όρισε ο ίδιος ο Δίας, με κεραυνό που έριξε από τον Όλυμπο. Η ολοκληρωτική καταστροφή του πιθανότατα έγινε στα χρόνια του Θεοδοσίου Α΄, ο οποίος κατάργησε τους Ολυμπιακούς Αγώνες, και στα χρόνια του εγγονού του, Θεοδοσίου Β΄.

Η μορφή του βωμού είναι γνωστή από την αναλυτική περιγραφή του περιηγητή Παυσανία (5.13.8-11), που τον είδε το 2ο αι. μ.Χ. Ο βωμός ήταν κυκλικός ή ελλειψοειδής και διαμορφωνόταν σε δύο επίπεδα: την πρόθυση και τον κυρίως βωμό. Η πρόθυση ήταν ένα κρηπίδωμα ύψους περίπου 3 μ. και στις δύο στενές πλευρές της υπήρχαν σκαλοπάτια για να μπορεί κανείς να ανέβει πάνω σε αυτή. Ο κυρίως βωμός είχε κωνικό σχήμα, με περίμετρο 9,5 μ., και είχε σχηματισθεί πάνω στην πρόθυση από τη στάχτη των ζώων που θυσίαζαν, και από τα οποία έκαιγαν τους μηρούς. Μία στενή κλίμακα, τα σκαλοπάτια της οποίας ήταν σκαλισμένα στη στάχτη, οδηγούσε στην κορυφή. Το συνολικό ύψος του βωμού, πάντα σύμφωνα με την περιγραφή του Παυσανία, υπολογίζεται στα 6,5 μ. Η θυσία του ζώου γινόταν στην πρόθυση και στη συνέχεια οι ιερείς μετέφεραν τους μηρούς στο ψηλότερο σημείο του βωμού, όπου και τους έκαιγαν. Στην πρόθυση μπορούσαν να ανέβουν και γυναίκες, στον κυρίως βωμό, όμως, μόνο ιερείς και άνδρες. Θυσίες στο βωμό αυτό προς τιμήν του Δία γίνονταν συνεχώς και όχι μόνο κατά τη διάρκεια των γιορτών. Αναφέρεται, μάλιστα, ότι την (19η) δεκάτη ενάτη ημέρα του μηνός Ελαφιώνος (τέλος Μαρτίου) οι μάντεις του ιερού έφερναν τη στάχτη από το βωμό της Εστίας, που βρισκόταν στο Πρυτανείο, και αφού την ανακάτευαν με νερό του ποταμού Αλφειού, έκαναν πηλό και επάλειφαν με αυτόν το βωμό. Μάλιστα, ο Παυσανίας διευκρινίζει ότι το ανακάτεμα της στάχτης γινόταν μόνο με νερό του Αλφειού, ο οποίος θεωρείτο ως το πιο αγαπημένο ποτάμι του Δία. Επίσης αναφέρεται ότι για τις θυσίες χρησιμοποιούσαν ξύλα λεύκης, όπως είχε κάνει σύμφωνα με το μύθο και ο Ηρακλής όταν θυσίασε στο Δία.