Ο αρχαιολογικός χώρος καταλαμβάνει το πλάτωμα στην κορυφή του ομώνυμου λόφου, στο ΒΔ τμήμα της νήσου. Εκεί βρίσκεται η ακρόπολη της αρχαίας πόλης της Ιαλυσού, μιας από τις τρεις πόλεις-κράτη της αρχαίας Ρόδου, που πρωτοστάτησε στο συνοικισμό του 408/407 π.Χ. Από τα μνημεία της αρχαίας ακρόπολης σώζονται μόνο τα θεμέλια του δωρικού ναού της Αθηνάς Πολιάδος και του Διός Πολιέως, ανάμεσα σε κτίσματα των μεσαιωνικών χρόνων. Ήταν πρόστυλος εξάστυλος ναός, με τετράστυλο πρόναο εν παραστάσι. Στο σηκό του υπήρχε κορινθιακή κιονοστοιχία σε σχήμα Π που περιέβαλλε το λατρευτικό άγαλμα. Ο ναός χρονολογείται στο τέλος του 4ου αι. π.Χ., αλλά η λατρεία στο πλάτωμα ανάγεται τουλάχιστον στον 9ο αι. π.Χ. Κατά τον 5ο-6ο αι. μ.Χ. μέρος του ναού καταπατήθηκε από μεγάλη τρίκλιτη παλαιοχριστιανική βασιλική, της οποίας διατηρείται σε καλή κατάσταση το βαπτιστήριο.

Σε μικρό πλάτωμα που σχηματίζεται στην απόκρημνη ΝΔ πλαγιά του λόφου, περίπου 30 μ. χαμηλότερα από το νοτιότερο τμήμα του χώρου, κτιστή σκάλα οδηγεί στη Δωρική Κρήνη του 4ου αι. π.Χ., ένα από τα κομψότερα μνημεία της Δωδεκανήσου. Πρόκειται για κτιστό πώρινο στωικό οικοδόμημα σε σχήμα Π, με εξάστυλη δωρική κιονοστοιχία εν παραστάσι. Η σημερινή κατάσταση της κρήνης οφείλεται στην Ιταλική αναστήλωση του 1927-1928.

Στην αρχαιότητα η ακρόπολη ονομαζόταν Αχαΐα πόλις, ενώ μετά το Συνοικισμό ήταν γνωστή ως Οχύρωμα. Η σημερινή ονομασία Φιλέρημος ανάγεται στην όψιμη βυζαντινή περίοδο, από την οποία διασώζονται λείψανα οχυρού περιβόλου που έστεφε την κορυφή του λόφου. Κατά την ιπποτοκρατία (1309-1522) παρατηρείται μεγάλη οικοδομική δραστηριότητα στο χώρο, στην οποία οφείλεται και η εξαφάνιση πολλών αρχαίων μνημείων. Σε καλή σχετικά κατάσταση διατηρείται το μεσαιωνικό φρούριο στην Α πλευρά του χώρου, που αναστηλώθηκε επί ιταλοκρατίας (1912-1943).

Η πρώτη μεσαιωνική εκκλησία της Παναγίας, που ανάγεται στις αρχές του 14ου αι., αντικατέστησε παλαιότερο βυζαντινό ναό. Αργότερα, στον ύστερο 15ο αι., ενσωματώθηκαν στην αρχική εκκλησία δύο παρεκκλήσια με σταυροθόλια, αναστηλωμένα σήμερα. Στα στηρίγματα των τόξων του βορειότερου από αυτά σώζονται θυρεοί του μεγάλου μαγίστρου Aubusson, ενώ σε οξυκόρυφη κόγχη του νοτιότερου βρισκόταν η περίφημη εικόνα της Παναγίας της Φιλερήμου, παλλάδιο της ιπποτικής Ρόδου. Στην ίδια οικοδομική φάση ανήκει και το αναστηλωμένο κωδωνοστάσιο, που κτίστηκε στη θέση της μεσαίας αψίδας της παλαιοχριστιανικής βασιλικής.

Στα Δ του αρχαίου ναού υπήρχε, λαξευμένη στο μαλακό φυσικό βράχο, βυζαντινή κρύπτη (καμαροσκεπής δεξαμενή απ’ όπου ανέβλυζε το αγίασμα) που πρέπει να αποτελούσε μέρος δίχωρης βυζαντινής εκκλησίας, από την οποία σήμερα λείπει όλο το υπέργειο τμήμα. Αργότερα σφραγίστηκε η πηγή με το αγίασμα και η δεξαμενή μετατράπηκε στη μονόχωρη εκκλησία του Αγίου Γεωργίου του Χωστού, με δυτικότροπες τοιχογραφίες του 14ου αι.

H σύγχρονη εικόνα του αρχαιολογικού χώρου οφείλεται κατά πολύ στις ευρείας κλίμακας διαμορφώσεις και αναστηλωτικές επεμβάσεις των Ιταλών, που ενέταξαν το μεσαιωνικό ναό σε καθολικό μοναστήρι των Φραγκισκανών μοναχών. Σήμερα η αναστηλωμένη εκκλησία έχει μετατραπεί σε ορθόδοξο ναό της Παναγίας.