Ο πύργος στο Πιτυός, κτισμένος σε απότομη βραχώδη έξαρση, δεσπόζει σε χαράδρα όπου έρεε ποταμός και κατοπτεύει ευρεία περιοχή έως και το στενό μεταξύ Χίου και μικρασιατικών παραλίων. Έχει ακανόνιστο δεκαεξάπλευρο σχήμα και χωρίζεται σε τρία εσωτερικά επίπεδα, δηλαδή στο ισόγειο, στον όροφο και στο δώμα. Το συνολικό ύψος του κτηρίου ανέρχεται στα 13 μ. Στο επίπεδο του ισογείου υπάρχουν τρεις θολοσκεπείς χώροι, από τους οποίους οι δύο χρησίμευαν ως αποθήκες υλικών, τροφίμων κ.λπ. και ο τρίτος, ο μικρότερος, είναι η στέρνα του πύργου. Οι χώροι του ισογείου είναι περίκλειστοι, δεν έχουν κανενός είδους άνοιγμα προς τα έξω και δεν επικοινωνούν μεταξύ τους. Στο εσωτερικό τους έχουν παραμείνει ανέπαφοι οι φυσικοί σχηματισμοί του βράχου - με τοπικές μόνον επιχωματώσεις και διαμορφώσεις δαπέδων - και το κτήριο έχει θεμελιωθεί απευθείας πάνω στο φυσικό του υπόβαθρο. Στη στέρνα αποθηκεύονταν τα νερά της βροχής που διοχετεύονταν σε αυτή από το δώμα, μέσω ενός κυλινδρικού πήλινου αγωγού, ενσωματωμένου στην τοιχοποιία του κτηρίου.

Ο όροφος αποτελείται από δύο μεγάλους θολοσκεπείς χώρους, που επικοινωνούν με ενδιάμεση θύρα. Ο πρώτος χώρος που προστατεύεται φυσικά από τη χαράδρα διαθέτει δύο θύρες εισόδου, ενώ ο δεύτερος που είναι στραμμένος σε πιο ευπρόσβλητη περιοχή έχει μόνον παράθυρα. Οι δύο χώροι επικοινωνούν τόσο με τους χώρους του ισογείου όσο και με το δώμα, μέσω καταπακτών. Από τη δεύτερη αίθουσα του ορόφου και μόνον ήταν εφικτή η κάθοδος στη στέρνα.

Στο δώμα βρίσκονται οι επάλξεις οι οποίες στις πλευρές του πύργου που είναι στραμμένες προς το φαράγγι, έχουν παραχωρήσει τη θέση τους σε απλό ψηλό στηθαίο. Περιμετρικά βαίνει ο στενός περίδρομος, όπου στέκονταν οι αμυνόμενοι στρατιώτες. Η επιφάνεια του δώματος δεν ήταν επίπεδη, καθώς προβάλλονταν στο μέσον του τα εξωράχια των δύο ημικυλινδρικών θόλων του ορόφου. Όλη η έκταση ήταν επιστρωμένη με υδραυλικό (;υγρομονωτικό) κονίαμα.

Η αρχιτεκτονική ανάλυση του οικοδομήματος κατέδειξε ότι η σημερινή μορφή του πύργου είναι αποτέλεσμα τριών οικοδομικών φάσεων, συμπέρασμα που επιβεβαιώθηκε από τα πορίσματα της ανασκαφικής έρευνας που διενεργήθηκε στο μνημείο: στην αρχαιότερη φάση, που χρονολογείται στις αρχές του 14ου αι., κατασκευάσθηκε ένας πολυγωνικός πύργος - πιθανότατα εξάπλευρος - με ξύλινα μεσοπατώματα και κεραμοσκεπή, στο εσωτερικό του οποίου διαμορφώνονταν τουλάχιστον τρεις στάθμες (ισόγειο, όροφος και δώμα). Η λιθοδομή αυτής της φάσης αποτελείται από σχετικά μεγάλους τοπικούς λίθους που ανάμεσά τους παρεμβάλλονται τεμάχια πλατιών πλίνθων. Στη δεύτερη φάση, που χρονολογείται στο 15ο αι. στους χρόνους της Γενουατοκρατίας, και μετά από κάποια καταστροφή που σημειώθηκε - φυσική ή ως απόρροια πολεμικών επιχειρήσεων -, ο αρχικός πολυγωνικός πυρήνας ενισχύθηκε. Τότε, συμπληρώθηκε και επενδύθηκε με ισχυρούς και παχείς τοίχους εξωτερικά, με αποτέλεσμα να λάβει το σημερινό του περίγραμμα και να εμφανίζει τη διαμόρφωση της σημερινής εξωτερικής του όψης. Στην τρίτη φάση, που χρονολογείται στο α΄ ήμισυ του 16ου αι. κατά τη διάρκεια ακόμη της Γενουατοκρατίας στη Χίο, κατασκευάσθηκαν στο εσωτερικό του κτηρίου οι θόλοι που καλύπτουν όλους τους χώρους, καθώς και οι μεσαίοι τοίχοι που τους στηρίζουν. Στους επόμενους αιώνες το κτήριο περιέπεσε σε αχρησία.