Το κάστρο του Καλλιθήρου κτισμένο στην νοτιοανατολική πλευρά του λόφου του Αγίου Αθανασίου βρίσκεται 9 χλμ. νοτιοδυτικά της Καρδίτσας και νότια του ομώνυμου χωριού Καλλίθηρο (Σέκλιζα).

Το κάστρο σύμφωνα με τις τελευταίες έρευνες υπήρξε η ακρόπολη της αρχαίας πόλης Καλλιθήρα που εντοπίζεται στη θέση του σημερινού χωριού. Η χρήση του κάστρου συνεχίστηκε κατά την παλαιοχριστιανική και βυζαντινή περίοδο αλλά η ζωή σε αυτό δεν ξεπέρασε τον 10ο μ.Χ. αι. Τα νομισματικά ευρήματα χρονολογούνται στην εποχή του Ιουστινιανού Α΄(527-565). Η επιλογή της συγκεκριμένης θέσης για την ίδρυση κάστρου δεν ήταν τυχαία, όπως φαίνεται από τη γεωμορφολογία της περιοχής. Ο λόφος αυτός ήλεγχε το φυσικό πέρασμα από την θεσσαλική πεδιάδα στον ορεινό όγκο της Πίνδου.

Ο περίβολος του κάστρου περικλείει την επιφάνεια της κορυφής του λόφου, μια έκταση 11,1 στρεμμάτων.Το πάχος του τείχους είναι περίπου δύο μέτρα. Το κάστρο έχει καταρρεύσει σχεδόν εξ΄ολοκλήρου. Σώζονται μόνο οι κατώτερες σειρές των λίθων σε καλή κατάσταση και σε όλο του το μήκος. Η μορφή της τοιχοποιίας δηλώνει ότι το κάστρο οικοδομήθηκε πιθανώς στην παλαιοχριστιανική εποχή ή λίγο αργότερα με επανάχρηση οικοδομικού υλικού των τειχών της αρχαίας ακρόπολης. Το τείχος περιλαμβάνει πύργους στις τέσσερις γωνίες και από έναν ενδιάμεσο πύργο στην βόρεια, την ανατολική και τη δυτική πλευρά.