Ο οχυρωματικός περίβολος της ακρόπολης σώζεται κατά τόπους σε ικανό μήκος με αποτέλεσμα η πορεία του να αποκαθίσταται με αρκετή βεβαιότητα. Μεγάλα τμήματα έχουν κατακρημνισθεί λόγω κατολισθήσεων του εδάφους, ενώ ικανό τμήμα καταστράφηκε κατά την ανέγερση τουριστικού περιπτέρου τη δεκαετία 1950. Σε γενικές γραμμές ακολουθεί το περίγραμμα του λόφου, σχηματίζοντας έναν ατρακτοειδή δακτύλιο. Στα δυο άκρα του ανατολικό και δυτικό καταλήγει σε δυο πύργους. Ο δυτικός πύργος, ο λεγόμενος πύργος του Ορέστη αποτελούσε και τον ακρόπυργο της ακρόπολης, το τελευταίο καταφύγιο των αμυνομένων. Ένας δεύτερος περίβολος που ξεκινούσε από τη βόρεια πλευρά και κατέληγε στον πύργο του Ορέστη δημιουργούσε την εσωτερική ακρόπολη. Δύο ακόμη πύργοι της βόρειας πλευράς με τα μεταξύ αυτών μεταπύργια τμήματα σώζονται σε ικανοποιητικό ύψος. Στο σύνολό τους τα σωζόμενα τμήματα ανήκουν στους παλαιολόγειους χρόνους (14ος αι.). Εξαίρεση αποτελεί ο πεντάπλευρος πύργος της νότιας πλευράς που διασώζει παλαιοχριστιανική, μεσοβυζαντινή και υστεροβυζαντινή φάση.

Ο πύργος του Ορέστη είναι το καλύτερα διατηρημένο τμήμα και συγχρόνως το γνωστότερο τμήμα της βυζαντινής οχύρωσης των Σερρών. Οφείλει την ονομασία του στην πλίνθινη κτητορική επιγραφή που φέρει στη δυτική πλευρά. Σύμφωνα με την επικρατέστερη ανάγνωση, η επιγραφή έχει ως εξής: "Πύργος Στ[ε]φ[ά]νου βασιλέως όν έκτησεν Ορέστης". Με βάση την επιγραφή χρονολογείται στα 1350 και θεωρείται έργο του βασιλιά της Σερβίας Στεφάνου Δουσάν. Είναι ένας ορθογώνιος ψηλός πύργος με συμπαγή βάση και καμαροσκέπαστο όροφο. Το ύψος του υπολογίζεται σε 20 μ.