Το βυζαντινό κάστρο των Σερβίων βρίσκεται στις δυτικές απολήξεις των Πιερίων. Είναι χτισμένο σε οχυρή θέση στον ανατολικό από τους δύο δίδυμους λόφους που υψώνονται πάνω από τη σύγχρονη πόλη αφήνοντας ένα μικρό άνοιγμα για το χείμαρρο που περνά ανάμεσά τους. Δεσπόζει στην πεδιάδα του Αλιάκμονα, στο σύντομο και προσιτό γεωμορφολογικά πέρασμα από τη Μακεδονία στη Θεσσαλία και τη Νότια Ελλάδα μέσω των στενών του Σαρανταπόρου. Η θέση του κάστρου στην πεδιάδα του Αλιάκμονα εξασφάλιζε μια πλούσια ενδοχώρα σε συνδυασμό με την προστασία του αγροτικού και κτηνοτροφικού πληθυσμού αυτής. Η ίδρυσή του σ' αυτή τη στρατηγική θέση με τη φυσική οχύρωση το κατέστησε κάστρο απροσπέλαστο στους εχθρούς.

Από τα τέλη του 9ου αι. μαρτυρείται η ύπαρξη της επισκοπής Σερβίων που υπάγεται στη μητρόπολη Θεσσαλονίκης (επισκοπικός κατάλογος Λέοντος Στ΄ Σοφού). Στα τέλη του 10ου αι. το κάστρο καταλαμβάνεται από το βούλγαρο τσάρο Σαμουήλ, ενώ το 1001 ανακαταλαμβάνεται από τον Βασίλειο Β΄. Το 1018 ο Βασίλειος Β΄ καταστρέφει μερικώς τα τείχη για να μην λειτουργήσει το κάστρο ως θύλακας του βουλγαρικού στρατού. Το 1204 τα Σέρβια καταλαμβάνονται από τους Φράγκους, ενώ το 1216 περιέρχονται στη κατοχή του δεσπότη της Ηπείρου Θεοδώρου Δούκα. Ο Μιχαήλ Β΄ Δούκας μετά τη μάχη της Κλοκότνιτσας (1230) σπεύδει και καταλαμβάνει το κάστρο. Αμέσως επισκευάζει τα τείχη. Το 1257 τα Σέρβια περιέρχονται στον αυτοκράτορα της Νίκαιας Θεόδωρο Β΄ Λάσκαρη. Το 1341 καταλαμβάνονται από το σέρβο κράλη Στέφανο Δουσάν, ενώ το 1350 ανακαταλαμβάνονται από τον Ιωάννη Στ΄ Καντακουζηνό για να αλωθούν από τα στρατεύματα του Σουλτάνου Βαγιαζήτ Α΄ το 1393 . Την περίοδο της Τουρκοκρατίας η βυζαντινή ακρόπολη εγκαταλείπεται, ενώ η κάτω πόλη και το τμήμα έξω από τα τείχη είναι πυκνοκατοικημένα. Στα μέσα του 17ου αι., όταν περνά από τα Σέρβια ο οθωμανός περιηγητής Εβλιγιά Τσελεμπή, περιγράφει την πόλη ως εξής: "….είναι ένα θαυμάσιο κάστρο ισχυρό, χτισμένο με πέτρα, με τριγωνικό σχήμα. Βρίσκεται πάνω σ' ένα μικρό χωματένιο λόφο. Είναι μικρό κάστρο. Στις δυο πλευρές του υπάρχουν υψηλά βουνά που κρέμονται από πάνω. Επάνω στα βουνά υπάρχουν καθαρά αμπέλια…. Μέσα στο κάστρο υπάρχουν εκατό περίπου σπίτια φτωχών Ελλήνων. Δεν υπάρχουν όμως πυριδιταποθήκες, κανόνια, αποθήκες και τάφροι. Μόνο στη δυτική πλευρά βλέπει κανείς να υπάρχει μια κατεστραμμένη πύλη. Δεν υπάρχει τίποτε άλλο. Όλα τα φιλανθρωπικά ιδρύματα είναι κάτω στην πόλη". 'Όπως συνάγεται μετά την κατάληψη από τους Οθωμανούς ο νέος οικισμός αναπτύσσεται έξω από το κάστρο. Η μεταφορά του οικισμού βοήθησε στη διατήρηση του βυζαντινού γιατί αποφεύχθηκαν οι νεότερες επεμβάσεις έτσι ώστε να διευκολύνεται σήμερα η έρευνα από τους ειδικούς επιστήμονες. Το 1745 η έδρα της επισκοπής μεταφέρεται στην Κοζάνη. Οι χριστιανικοί ναοί δεν μετατρέπονται σε τζαμιά, αλλά επισκευάζονται και επανατοιχογραφούνται συνεχίζοντας τη λειτουργία τους μέχρι το 19ο αι., όταν ο παλαιός οικισμός εγκαταλείπεται.