Στη νοτιοδυτική πλευρά του λιμανιού του Πυθαγορείου (αρχαίας Σάμου), βρίσκεται χαμηλός λόφος πάνω στον οποίο διατηρούνται μέχρι σήμερα τμήματα του Βυζαντινού Κάστρου της πόλης.

Οι ανασκαφές που έχουν πραγματοποιηθεί στο λόφο απέδειξαν τη χρήση του χώρου ήδη από την Ύστερη Νεολιθική (τέλη 4ης χιλιετίας). Κατά την αρχαϊκή εποχή ο λόφος περικλειόταν στις ισχυρές οχυρώσεις που προστάτευαν το λιμάνι του Πυθαγορείου, πιστεύεται μάλιστα ότι εδώ βρισκόταν το ανάκτορο του τυράννου της Σάμου, Πολυκράτη(6ος αι. π.Χ.). Οικοδομικά κατάλοιπα κτηρίων της ελληνιστικής και ρωμαϊκής εποχής βεβαιώνουν τη χρήση του λόφου και κατά τη διάρκεια των επόμενων αιώνων. Τον 5ο αι. μ.Χ., εποχή διάδοσης του χριστιανισμού στη Σάμο, χτίστηκαν στην ανατολική πλευρά του λόφου τρεις παλαιοχριστιανικές βασιλικές, μία εκ των οποίων θεωρείται λόγω του μεγάλου μεγέθους και της κεντρικής της θέσης επισκοπική έδρα του νησιού την εποχή αυτή. Κατά τη διάρκεια του 7ου αι. μ.Χ., όταν η βυζαντινή αυτοκρατορία απειλήθηκε σοβαρά από την παρουσία των Αράβων στις θάλασσες, ο πληθυσμός του Πυθαγορείου αναζήτησε ασφάλεια στο Ευπαλίνειο Όρυγμα από όπου επέστρεψε μετά την οριστική καταστροφή του αραβικού στόλου από το βυζαντινό το 678 μ.Χ. Η ζωή των κατοίκων οργανώθηκε αυτή τη φορά στις πλαγιές του λόφου, ο οποίος οχυρώθηκε με την κατασκευή του Κάστρου, πιθανότατα στα τέλη του 7ου αι. μ.Χ. Το Κάστρο ήταν τετράγωνο στην κάτοψη, ενισχυμένο με κυκλικούς και τετράγωνους πύργους και πύλη στην ανατολική πλευρά. Παρά τις επεμβάσεις και επισκευές που πραγματοποιήθηκαν σε αυτό από τους βυζαντινούς αυτοκράτορες μέχρι τον 11ο αι., η αρχική μορφή του δεν διαφοροποιήθηκε σημαντικά. Κατά τη διάρκεια της μέσης και ύστερης βυζαντινής εποχής το νησί αποτέλεσε μήλον της έριδος μεταξύ των Βυζαντινών και διαφόρων εχθρικών δυνάμεων, το Κάστρο ωστόσο πρέπει να ήταν σε λειτουργία κατά τον 13ο αι., ενώ στα μέσα του 14ου αι. ενισχύθηκε από τους Γενουάτες Giustiniani που κυριάρχησαν στο νησί. Το Κάστρο ερημώθηκε το 1475, όταν το νησί υποτάχθηκε στους Οθωμανούς και το μεγαλύτερο τμήμα του πληθυσμού μετακινήθηκε μαζικά στη Χίο και στη Μικρά Ασία.

Η νεώτερη ιστορία του Κάστρου είναι άρρηκτα συνδεδεμένη με το Λογοθέτη Λυκούργο, αρχηγό της φιλελεύθερης παράταξης των «Καρμανιόλων», μέλος της Φιλικής Εταιρείας και ηγετική φυσιογνωμία της ελληνικής επανάστασης. Αυτός ανέλαβε να οχυρώσει ξανά το λόφο του Κάστρου, προσπάθεια που ξεκίνησε το 1824 και ολοκληρώθηκε το 1827 με τη συνδρομή όλων των Σαμίων. Ένας από τους προϋπάρχοντες πύργους της βυζαντινής οχύρωσης επισκευάστηκε και χρησιμοποιήθηκε ως διοικητήριο και κατοικία του ιδίου και της οικογένειάς του. Πρόκειται για πύργο με υπερυψωμένο ισόγειο και δύο ορόφους, επάλξεις στο δώμα του, χωρίς παράθυρα στο ισόγειο για αμυντικούς λόγους, είσοδο και καταχύστρα πάνω από αυτήν στην πρόσοψη. Ο Πύργος αναστηλώθηκε τα τελευταία χρόνια και λειτουργεί πλέον ως επισκέψιμο μνημείο και αρχαιολογικό μουσείο. Δίπλα στον Πύργο, στο ψηλότερο σημείο του λόφου, οικοδομήθηκε με πρωτοβουλία του ιδίου ο ιστορικός ναός της Μεταμόρφωσης του Σωτήρος (1831 ή 1833), σε ανάμνηση της σωτήριας για το νησί νίκης των Σαμίων εναντίον του τουρκικού στόλου σε ναυμαχία που έλαβε χώρα στα στενά της Μυκάλης την 5η Αυγούστου 1824. Ο Λογοθέτης Λυκούργους έζησε στον Πύργο ως Διοικητής του νησιού μέχρι το 1834, όταν εξορίστηκε μαζί με άλλους επαναστάτες λόγω της αποτυχίας ένταξης της Σάμου στο νεοσύστατο ελληνικό κράτος και την υπαγωγή της στο καθεστώς της Ηγεμονίας. Στη συνέχεια το Κάστρο καταλήφθηκε από τουρκική φρουρά και οι αρχαιότητες που διατηρούνταν στο εσωτερικό του λεηλατήθηκαν. Το 1840 το Κάστρο ήταν πια εγκαταλελειμμένο και το 1863 πωλήθηκε στο Σαμιακό Δημόσιο από το γιο του Λυκούργου Λογοθέτη, Αλέξανδρο.