Το μικρό λουτρό, που κτίσθηκε έξω από το νοτιοδυτικό άκρο της Άλτεως, είναι γνωστό σήμερα ως ''θέρμες Λεωνιδαίου'', επειδή βρίσκεται δίπλα στον ομώνυμο ξενώνα, χωρίς όμως να σχετίζεται με αυτόν. Διατηρείται σε εξαιρετικά καλή κατάσταση και είναι ένα από τα λίγα κτίσματα του ιερού της Ολυμπίας που διατηρεί το αρχικό του ύψος και την οροφή του. Η ανέγερσή του τοποθετείται στον 3ο αι. μ.Χ., αλλά εξακολούθησε να χρησιμοποιείται με μετατροπές και αργότερα, έως τον 6ο αι. μ.Χ. Αποτελούσε τμήμα εκτεταμένου και κατεστραμμένου σήμερα κτηριακού συγκροτήματος, το οποίο λειτουργούσε ως ξενώνας και επεκτεινόταν βόρεια του λουτρού και δυτικά του Λεωνιδαίου.

Το συγκρότημα περιλάμβανε μία κεντρική αυλή, γύρω από την οποία αναπτύσσονταν δωμάτια, αποθηκευτικοί και βοηθητικοί χώροι. Το μικρό λουτρό βρισκόταν στο νότιο τμήμα του και περιλάμβανε τέσσερις μικρές αίθουσες, που στεγάζονταν με καμαροειδείς οροφές. Εντυπωσιακά ψηφιδωτά, τα οποία διασώζονται μέχρι σήμερα, διακοσμούσαν τα δάπεδά τους. Το λουτρό διέθετε εξαιρετικό σύστημα ύδρευσης, ενώ στο εσωτερικό του υπήρχε τελειοποιημένο σύστημα θέρμανσης των τοίχων, όπου ο θερμός αέρας διοχετευόταν με σύστημα σωληνώσεων στο εσωτερικό των τοίχων. Τον 5ο αι. μ.Χ. το κτήριο λειτούργησε ως χώρος παρασκευής οίνου, όταν εγκαταστάθηκε στην πρώτη από τις μικρές αίθουσες ένας αμπελουργός με το ληνό του. Την ίδια περίπου περίοδο η μία από τις αίθουσες χρησιμοποιήθηκε και ως χώρος επεξεργασίας γυαλιού, όπως υποδεικνύει ένας κλίβανος που βρέθηκε στη νοτιοδυτική γωνία του κτηρίου.

Στο μνημείο έχουν πραγματοποιηθεί εργασίες συντήρησης των ψηφιδωτών δαπέδων και για λόγους προστασίας τοποθετήθηκε στέγαστρο στη νότια πλευρά του, στο σημείο που είχε υποχωρήσει η οροφή.