Το Γυμνάσιο ή ανάκτορο των γιγάντων ήταν ένα ευρύ οικοδομικό συγκρότημα που κατέλαβε το μεγαλύτερο μέρος της πλατείας της Αγοράς μετά το 400 μ.Χ. Προσανατολισμένο στον άξονα Βορρά-Νότου, κάλυπτε παλαιότερα κτήρια, όπως το Ωδείο του Αγρίππα, τμήμα της Μεσαίας Στοάς και της Νότιας Στοάς ΙΙ. Περιελάμβανε δύo μεγάλες περίστυλες αυλές γύρω από τις οποίες διατάσσονταν πολυάριθμα δωμάτια, λουτρική εγκατάσταση και στα νότια κήπο. Κάλυπτε συνολική έκταση 13.500 τετραγωνικών μέτρων. Η μνημειώδης είσοδός του έβλεπε προς την οδό των Παναθηναίων. Είχε τρία ανοίγματα διαμορφωμένα από τέσσερις κτιστούς πεσσούς, πάνω στους οποίους τοποθετήθηκαν τα υπερφυσικού μεγέθους αγάλματα των Τριτώνων (άνθρωποι-ψάρια) και των Γιγάντων (άνθρωποι-φίδια) από το κατεστραμμένο Ωδείο του Αγρίππα. Αρχικά το κτήριο χαρακτηρίστηκε ως Γυμνάσιο ? εκπαιδευτήριο. Σύμφωνα με πρόσφατες έρευνες, το κτήριο ήταν πολυτελής έπαυλη, η οποία χρησίμευε ως έδρα αυτοκρατορικού αξιωματούχου, ίσως του κυβερνήτη της Αθήνας.