Η καστροπολιτεία των Σερβίων γνώρισε τη μεγαλύτερη ακμή της ανάμεσα στο 10ο και 13ο αιώνα. Ανήκε στο γενικότερο δίκτυο προστασίας της Βυζαντινής Αυτοκρατορίας και αντιμετώπισε επί σειρά αιώνων όλων των ειδών τις επιδρομές. Ο «Μυστράς της Μακεδονίας», όπως είναι γνωστό το Κάστρο των Σερβίων λόγω της ομοιότητάς του με την καστροπολιτεία του Μυστρά, βρέθηκε στο προσκήνιο πολιτικών και πολιτισμικών ανακατατάξεων εξαιτίας της μέγιστης στρατηγικής και γεωγραφικής σημασίας και αποτέλεσε το φωτοδότη της ιστορίας και της τέχνης στο διηνεκές. Το κάστρο χτίστηκε επί θητείας του αυτοκράτορα Ιουστινιανού ή Ηρακλείου μεταξύ των ετών 560-630 μ.Χ.

Το κάστρο της βυζαντινής πόλης διαιρείται σε τρία μέρη: την Κάτω Πόλη, την Άνω Πόλη και την Ακρόπολη. Ο διαχωρισμός επέτρεπε στους υπερασπιστές του κάστρου, σε περίπτωση κατάληψης από τους εχθρούς του κάτω τμήματος, να αντιτάξουν άμυνα στο ενδιάμεσο τείχος και όταν καταλαμβανόταν και αυτό να καταφύγουν πλέον στην ακρόπολη, το τελευταίο σημείο αντίστασης. Στην Κάτω Πόλη ζούσαν οι αγρότες και οι εργάτες, στην Άνω πόλη διέμενε η μεσαία τάξη και στην Ακρόπολη ο στρατιωτικός διοικητής.

Η Κάτω Πόλη κάλυπτε 75 στρέμματα, όπου σώζονται τείχη, τμήμα της κεντρικής υψηλής πύλης του Κάστρου, τμήματα Υδραγωγείων, πολλά ερείπια και ίχνη οικιών και εκκλησιών. Τρεις ναοί διασώζονται σε αρκετά καλή κατάσταση με αξιόλογες τοιχογραφίες, που αποτελούν σταθμό στην εξέλιξη της μεταβυζαντινής ζωγραφικής. Η Άνω Πόλη κάλυπτε 20 στρέμματα, όπου σώζονται τα θεμέλια κατοικιών, τα τείχη με την πολυγωνική διάταξή τους με τους ορθογώνιους και στρογγυλούς πύργους, που ακολουθούσαν την κλίση του λόφου.Η Ακρόπολη κάλυπτε 2, 5 στρέμματα και σήμερα σώζονται με μεγάλες φθορές οι Πύργοι που ξεπερνούσαν τα 18 μ. ύψος, μεγάλα τμήματα από τα τείχη και ίχνη κτισμάτων.