Η κατοικία του καϊμακάμη Χιφζί Μπέη βρίσκεται στο νότιο τμήμα του παραδοσιακού οικισμού της Άνω Πόλης, στην πλατεία Ρομφέη (γνωστή ως Κουλέ-Καφέ). Η ευρύτερη περιοχή της ταυτίζεται με τη συνοικία Iki Serife ή Iki Serefeli της Οθωμανικής περιόδου, ονομασία που οφείλεται στο μιναρέ με τους δύο εξώστες (serefe)που προστέθηκε στον παρακείμενο ναό των Ταξιαρχών, όταν αυτός μετατράπηκε σε τζαμί.

Ο Χιφζί Μπέης, στρατιωτικός διοικητής της Θεσσαλονίκης μετά τον πόλεμο του 1897 μεταξύ Ελλάδος και Οθωμανικής Αυτοκρατορίας, ανέγειρε το κτίσμα για την εγκατάστασή του στην πόλη μεταξύ 1897-1905. Από το 1917 ξεκίνησε η κατοίκησή από πρόσφυγες. Μεταγενέστερα στέγασε δημοτικό σχολείο και μεταξύ 1959-1978 το 7ο Γυμνάσιο και το 7ο Λύκειο Θεσσαλονίκης.

Το τριώροφο κτίσμα αποτελεί χαρακτηριστικό δείγμα αστικής διπλοκατοικίας των τελευταίων χρόνων της Οθωμανικής Περιόδου, ξεχωριστό ωστόσο, λόγω της πλατυμέτωπης μορφής του και του εμπλουτισμού των όψεων με νεοκλασικά στοιχεία. Εσωτερικά υποδιαιρείται σε δύο συμμετρικές κατοικίες, ενώ εξωτερικά η διαμόρφωση είναι ενιαία. Στην κύρια όψη, ο πρώτος και ο δεύτερος όροφος δημιουργούν ενιαία προεξοχή (σαχνισί), η οποία εδράζεται σε συμπαγή φουρούσια. Τα ανοίγματα διατάσσονται με αυστηρή με αυστηρή συμμετρία, ενώ χαρακτηριστικές είναι οι συμμετρικές ημικυκλικές απολήξεις των κεντρικών δωματίων, που προσδίδουν ρυθμό στην οργάνωση του μετώπου.

Το κτήριο διατηρείται σε πολύ καλή κατάσταση, χάρη στην εκτέλεση ολοκληρωμένων εργασιών συντήρησης και αποκατάστασης. Σήμερα φιλοξενεί τη Δημοτική Βιβλιοθήκη της Άνω Πόλης στο ισόγειο και την Παιδική Βιβλιοθήκη στον 1ο όροφο.