Ορθογώνιο κτήριο, διαμορφωμένο γύρω από μια κεντρική αυλή, το Παλάτι του Μεγάλου Μαγίστρου είναι κτισμένο στο βορειοδυτικό σημείο της Μεσαιωνικής Πόλης, ως βασικό τμήμα της μεσαιωνικής οχύρωσης. Πιστεύεται ότι κατέλαβε το χώρο, όπου βρισκόταν προηγουμένως η βυζαντινή ακρόπολη και άρχισε να κτίζεται αμέσως μετά την εγκατάσταση των Ιπποτών στη Ρόδο, δηλαδή στις αρχές του 14ου αι. Η κύρια είσοδός του βρίσκεται στη νότια πλευρά και οδηγεί σε μια ορθογώνια, κεντρική, υπαίθρια αυλή.

Στο ισόγειο του κτηρίου φιλοξενούνται δύο μόνιμες εκθέσεις με θέμα την αρχαία και τη μεσαιωνική πόλη της Ρόδου, ενώ στον όροφο μπορεί κανείς να παρατηρήσει, μέσα στις αναστηλωμένες από τους Ιταλούς αίθουσες, τα αντικείμενα και τα ψηφιδωτά δάπεδα με τα οποία κοσμήθηκε ο χώρος στην τέταρτη δεκαετία του 20ου αι. Η διαμόρφωση της "ιταλικής" επέμβασης περιέλαβε τη μεταφορά (κυρίως από την Κω) και εγκατάσταση στις αίθουσες του παλατιού αξιόλογων επιδαπέδιων ψηφιδωτών της υστεροελληνιστικής περιόδου.