Βρίσκεται στην Νότια, απόκρημνη, αλίμενη ακτή της Αμοργού, φωλιασμένο μέσα σε αγκαθωτούς, απειλητικούς βράχους, είναι ορατό μόνον από το πέλαγος, που απλώνεται απέραντο κάτω από τα βράχια, 300μ. υψηλά. Η κάτασπρη, απέριττη όψη του εναρμονίζεται θαυμαστά με τα πολύχρωμα ανώμαλα βράχια. Μόνον από κοντά διαγράφονται οι λευκοί γεωμετρικοί όγκοι και τα αυστηρά γραμμικά περιγράμματα του κτιρίου που, με την συνεργεία του φωτός, δημιουργούν την αίσθηση πολυεπίπεδης επιφάνειας.

Το κτίριο εκτείνεται σε μήκος 40μ., ενώ το πλάτος του δεν ξεπερνά τα 5μ. Εξ αιτίας του μικρού πλάτους τα οκτώ επίπεδα-"όροφοι", δεν συναντώνται σχεδόν σε κανένα σημείο. Κλίμακες στενές, πέτρινες, κτιστές ή λαξευμένες στον βράχο, οδηγούν στους οκτώ "ορόφους". Καμάρες, τόξα, βυζαντινού τύπου ή οξυκόρυφα των χρόνων της Ενετοκρατίας (1296-1537), κτισμένα με πέτρες ή πωρόλιθο από την Μήλο, ξυλοδόκαρα και ξυλοδεσιές χαρακτηρίζουν τον περίπλοκο, δαιδαλώδη εσωτερικό χώρο. Τα πολυάριθμα κελλιά των Μοναχών, η τράπεζα, τα μαγειρεία, οι φούρνοι, οι αποθήκες, τα πατητήρια, οι στέρνες και τα πηγάδια, όλα σφηνωμένα μέσα στον φυσικό βράχο που μεταμορφώνεται σε λειτουργικό οικοδομικό στοιχείο, συνθέτουν ένα θαυμαστό δείγμα ανώνυμης λειτουργικής λαϊκής αρχιτεκτονικής.

Στο μικρό, μονόχωρο, καμαροσκέπαστο εκκλησάκι βρίσκονται μεταξύ άλλων, και οι ζωντανές μαρτυρίες της τοπικής προφορικής παράδοσης για την καταγωγή της εκόνας από τα Χόζοβα (ή το Χόζοβο) της Παλαιστίνης: οι δύο ενεπίγραφες εικόνες της Παναγίας της Χοζοβιώτισσας ή ΧΩΖΗΒΙΤΙCΑΣ, και η σιδερένια "σμίλη" του αρχιμάστορα, ζωντανό σημάδι της διήγησης "για την ακριβή θέση που όρισε η Παναγία να κτιστεί ο ναός της". Αλλά και για την ιστορία της ίδρυσης της Μονής σημαντικό υλικό τεκμήριο αποτελεί το ασημένιο ενεπίγραφο εξαπτέρυγο, που αναφέρει ότι "ανεκενίσθη παρ' Αλεξίου βασιλέος του μεγάλου Κομνηνού", του Αυτοκράτορος του Βυζαντίου Αλεξίου του Α' Κομνηνού (1081-1118).

Το όνομα Χοζοβιώτισσα, αψευδής μαρτυρία του ιστορικού πυρήνα της τοπικής προφορικής παράδοσης, δημιουργήθηκε από παραφθορά του "Χοζιβίτισσα" ή "Κοζιβίτισσα", από το τοπωνύμιο Χοζιβά ή Κοζιβά στους Αγίους Τόπους, σήμερα στην περιοχή Wadi Qilt της Ιεριχούς, όπου, σύμφωνα με γραπτές μαρτυρίες των Βυζαντινών χρόνων, υπήρχαν από τους πρώτους Χριστιανικούς χρόνους σημαντικά ορθόδοξα Μοναστήρια. Στα χρόνια της Εικονομαχίας, τον 8ο και 9ο αιώνα, ορίζει ρητά τοπική, έως σήμερα ζωντανή, προφορική διήγηση, την "διά θαλάσσης, με θαυματουργό τρόπο, έλευση της εικόνας της Παναγίας στον ορμίσκο της Αγίας 'Αννας", πλησίον της Μονής.

Η χρονολόγηση της Μονής είναι άρρηκτα δεμένη με το όνομα Χοζοβιώτισσα, και, εν πολλοίς, στηρίζεται και στην προφορική παράδοση. Ο συσχετισμός των διηγήσεων με τις πληροφορίες των βυζαντινών Χρονογράφων, κυρίως του Θεοφάνους, η συνεξέταση των ιστορικών γεγονότων, των αναταραχών, στον γεωγραφικό χώρο της Μεσογείου και της Παλαιστίνης καθώς και των μεταγενεστέρων γραπτών μαρτυριών που παραδίδουν οι Κώδικες και τα πατριαρχικά Σιγίλλια της Μονής, επιτρέπουν την χρονολόγηση του πρώτου κτιριακού πυρήνα στον 9ο αιώνα, στά χρόνια της άφιξης της εικόνας. Την σύνδεση της Μονής με τον αυτοκράτορα Αλέξιο τον Α' Κομνηνό, υποστηρίζουν σημαντικές γραπτές, μεταγενέστερες πληροφορίες, όπως οι πατριαρχικές επιστολές, οι οποίες προφανώς ανάγονται στην πρώτη "βασιλικήν χρυσόβουλλον γραφήν" του έτους 1088, που εκχωρούσε σταυροπηγιακά δικαιώματα στην Μονή.