Στην απότομη κατωφέρεια του εδάφους, που σχηματίζεται ανάμεσα στην Κασταλία κρήνη και στο τέμενος της Αθηνάς Προναίας, σώζονται τα ερείπια του γυμνασίου των Δελφών. Πρόκειται για ένα από τα πληρέστερα συγκροτήματα της αρχαιότητας, που περιλάμβανε το γυμνάσιο, την παλαίστρα και λουτρικές εγκαταστάσεις. Η οικοδόμησή του ανάγεται στον 4ο αι. π.Χ., ωστόσο δέχθηκε διάφορες μετατροπές και επισκευές κατά τη διάρκεια των αιώνων και η χρήση του συνεχίσθηκε μέχρι και τα ρωμαϊκά χρόνια, όταν προστέθηκαν τα θερμά λουτρά. Αρχικά χρησιμοποιήθηκε αποκλειστικά για την προπόνηση των αθλητών. Στο γυμνάσιο γινόταν η προπόνηση των ελαφρών αθλημάτων και στην παλαίστρα των βαρέων αθλημάτων, της πάλης, της πυγμής και του παγκρατίου. Αργότερα, στην ελληνιστική εποχή, μετατράπηκε σε χώρο για την πνευματική καλλιέργεια των πολιτών, όπου έδιναν διαλέξεις ρήτορες, σοφιστές, φιλόσοφοι και ποιητές.

Το γυμνάσιο ήταν κτισμένο σε δύο επίπεδα. Το ανώτερο άνδηρο περιλάμβανε τον ξυστό, μία στεγασμένη στοά πλάτους 7 μ. και μήκους 178,35 μ., δηλαδή όσο ένα πυθικό στάδιο. Εδώ ασκούνταν οι αθλητές στο τρέξιμο σε περίπτωση κακοκαιρίας και ονομαζόταν έτσι επειδή έπρεπε να ξύνεται για να ισοπεδώνεται. Πρόσφατες ανασκαφές ανέδειξαν τον ξυστό σε όλο του το μήκος. Αρχικά, στον 4ο αι. π.Χ., ήταν δωρικού ρυθμού, κτισμένος από πωρόλιθο, αργότερα, όμως, οι Ρωμαίοι αντικατέστησαν την κιονοστοιχία της πρόσοψης με μία ιωνική, κατασκευασμένη από μάρμαρο. Παράλληλα προς τον ξυστό υπήρχε η παραδρομίδα, ένας ισοπεδωμένος υπαίθριος διάδρομος πλάτους 6 μ., για άσκηση στους αγώνες δρόμου. Στο κατώτερο άνδηρο βρισκόταν η παλαίστρα, που περιλάμβανε μία τετράγωνη κεντρική αυλή με στοές ολόγυρα, χωρισμένες σε δωμάτια. Οι επιγραφές μάς πληροφορούν για τη χρήση αυτών των δωματίων ως σφαιριστήριο, αποδυτήριο, κόνιμα, πιθανώς και ένα ιερό του Ερμή ή του Ηρακλή. Στην αυλή γινόταν η εξάσκηση στην πάλη ή στην πυγμαχία. Δυτικά της παλαίστρας διατηρείται ακόμη και σήμερα κυκλική πισίνα, διαμέτρου 10 μ. και βάθους 1,80 μ., που αποτελεί βασικό στοιχείο του ελληνικού λουτρού. Πίσω της, μια σειρά από κρουνούς τροφοδοτούσαν με νερό από την Κασταλία πηγή δέκα λίθινες λεκανίδες, που συγκοινωνούσαν μεταξύ τους. Πρόκειται για τους λουτήρες των αθλητών. Ακόμη δυτικότερα κτίσθηκε το 120 μ.Χ. βαλανείο ή ρωμαϊκές θέρμες, για ζεστά λουτρά.

Μερικούς αιώνες αργότερα την περιοχή του γυμνασίου κατέλαβε ένα βυζαντινό μοναστήρι. Το καθολικό του, που είχε οικοδομηθεί επάνω από την παλαίστρα, κατεδαφίστηκε το 1898 για να γίνουν οι ανασκαφές. Μάλιστα, σε έναν από τους κλασικούς κίονες, που είχε ξαναχρησιμοποιηθεί στο μοναστήρι, χάραξε το όνομά του ο λόρδος Βύρων, όταν επισκέφθηκε τους Δελφούς.