Κτισμένη σε υψόμετρο 350μ., βρίσκεται στο κέντρο σχεδόν του νησιού, κοντά στο λιμάνι των Καταπόλων, σε κομβικό σημείο που συνδέει οδικά τα χωριά της Αιγιάλης και της Αρκεσίνης. Το Κάστρο, ο υψηλός φυσικός βράχος με το ολόλευκο εκκλησάκι του 'Αη Γιώργη, που δεσπόζει επάνω από την κωμόπολη, είναι το λαλούν σύμβολο της Χώρας, που άλλοτε την αποκαλούσαν και Κάστρο. Σύμφωνα με πρόσφατες ενδείξεις, διαπιστώνεται ότι, ήδη,από τους Προϊστορικούς χρόνους στάθηκε καθοριστικός παράγων για την διαμόρφωση του οικοδομικού ιστού.

Στις υπώρειες του βράχου, στα Βορεινά, εντοπίστηκαν τα αρχαιότερα λείψανα κατοίκησης κατά την 3η π.Χ. χιλιετία. Το κενό των γνώσεών μας για την ζωή στην 2η και στην 1η π.Χ. χιλετία, ασφαλώς οφείλεται σε κενό συστηματικής έρευνας. Αινιγματική παραμένει και η παρουσία πολλών μαρμάρινων οικοδομικών μελών των Πρώϊμων ή Παλαιοχριστιανικών χρόνων -κιονόκρανα, αρράβδωτοι ή στρεπτοί κίονες, κ.τ.λ.- που βρίσκονται στις εκκλησίες, συνήθως στην Αγία Τράπεζα, ή είναι εντοιχισμένα σε προσόψεις οικιών.

Περισσότερες είναι οι μαρτυρίες για την κατοίκηση κατά την πρώϊμη Βυζαντινή περίοδο, στην οποίαν, φαίνεται ότι ανάγεται ο οικιστικός πυρήνας της Χώρας στην Βόρεια και στην Ανατολική πλευρά του Κάστρου. Τις οικιστικές ενδείξεις ενισχύουν και τα ιστορικά γεγονότα, οι αναταραχές στην Μεσόγειο από τις επιδρομές των Αράβων ανάμεσα στον 7ο και 9ο αιώνα και την κατάληψη της Κρήτης από τους Σαρακηνούς. Τότε, σε όλα τα νησιά του Αιγαίου, προφανώς για λόγους ασφαλείας, διαπιστώνεται η μετατόπιση των παράλιων οικισμών στην Ενδοχώρα και η ανέγερση εκκλησιών σε δύσβατες, απομακρυσμένες περιοχές.

Στα χρόνια της Ενετοκρατίας (1206-1537), οχυρώνεται ο φυσικός βράχος το 1207 από τους αυταδέλφους Ιερεμία και Ανδρέα Γκύζη και ο οικισμός επεκτείνεται στην Νότια πλευρά του Κάστρου. Τότε δημιουργούνται οι εσωτερικές πλακόστρωτες πλατείες που φέρουν ακόμα το λατινογενές όνομα "Λόζα", καθώς και ο κεντρικός δρόμος, η σημερινή "μέση" (οδός), που διατρέχει όλον τον οικισμό. Από την πλακόστρωτη "μέση", το "καντιρίμι" ή "πλατύστενο" ξεκινούν και καταλήγουν στο Κάστρο όλα τα δρομάκια του οικισμού. Πολλά ακόμα είναι σκεπαστά -στην τοπική γλώσσα "εμπροστιάδες"- προφανώς για προστασία των κατοίκων που κατέφευγαν στο Κάστρο για να σωθούν από τους πειρατές που λυμαίνονταν το νησί έως και τα μέσα του περασμένου αιώνα. Στα ελάχιστα αρχιτεκτονικά λείψανα της Ενετοκρατίας συγκαταλέγονται ο "Πύργος του Γαβρά", κοντά στην Λόζα, το κτίριο όπου στεγάζεται η Αρχαιολογική Συλλογή και ο "Κάτω Λάκκος", η καμαροσκέπαστη τοξωτή υδατοδεξαμενή του 15ου αιώνα, στα Βορεινά.

Στα χρόνια της Τουρκοκρατίας (1537-1824), σύμφωνα με πολλές ενδείξεις, η Αμοργός, και ιδιαιτέρως η πρωτεύουσα, η Χώρα, γνώρισε ημέρες οικονομικής ακμής και "εκκλησιαστικής αναγέννησης". Αυτό πιστοποιούν οι επιγραφικά τεκμηριωμένες ανακαινίσεις στην Μονή της Χοζοβιώτισσας, και στα Μετόχια, όπως του Φωτοδότη Χριστού στην Χώρα, ένα από τα καλύτερα σωζόμενα χριστιανικά μνημεία του νησιού. Στην ανακαίνιση των εκκλησιών συνείργησε ουσιαστικά η τεράστια ακίνητη περιουσία, οι "κτήσεις" της Μονής εντός και εκτός Αμοργού, που παρείχαν την δυνατότητα εξαγοράς της θρησκευτικής ελευθερίας από τους Τούρκους Πασάδες.

Έμμεσες μαρτυρίες για την άνθιση της εκκλησιαστικής αρχιτεκτονικής από τον πρώϊμο 17ο αιώνα αποτελούν οι πολυάριθμοι ναοί, οι περισσότεροι από τους οποίους βρίσκονται στην Χώρα. Από τις τριάντα εκκλησίες της Χώρας, οι περισσότερες σώζουν επιγραφές ανακαινίσεως στα περίτεχνα μαρμαρένια περίθυρα, όπως ο άλλοτε ενοριακός δισυπόστατος ναός των Αγίων Πάντων, το 1644, οι μονόχωρες εκκλησίες των Αγίων Αποστόλων το 1689, του Αγίου Ιωάννου του Θεολόγου στα ριζά του Κάστρου στα Βορεινά, Μετόχι έως το 1619 της ομώνυμης Μονής της Πάτμου, της Αγίας Θεοδοσίας, το 1767, κοντά στην Απάνω Λόζα, και άλλες.