Το Μουσείο είναι παλαιό μουσουλμανικό τέμενος που κτίσθηκε με χορηγία του Σουλτάνου Αβδούλ Μετζήτ στα μέσα του 19ου αιώνα στην πλατεία της πόλης της Χίου (Μετζητιέ τζαμί). Αποτελείται από το ξυλόστεγο προστώο, την κεντρική αίθουσα που καλύπτεται με τρούλλο και ευρύχωρο υπόγειο. Στην πλακόστρωτη αυλή του υπάρχουν, σε συμμετρικές θέσεις, δύο όμοια μικρά λιθόκτιστα οικοδομήματα: το ένα είναι κρήνη με επένδυση από μαρμάρινες πλάκες, ενώ το δεύτερο λειτουργεί σήμερα ως φυλάκειο του Μουσείου. Το Βυζαντινό Μουσείο διέθετε δύο χώρους ανοιχτούς για το κοινό: το προστώο του τζαμιού και την αυλή, όπου φυλάσσονταν κυρίως λίθινα αντικείμενα. Από το καλοκαίρι του 2004 το Μουσείο είναι κλειστό για το κοινό, λόγω της έναρξης αναστηλωτικών εργασιών.