Στην ακρόπολη του βυζαντινού κάστρου της Καστοριάς, πολύ κοντά στο τείχος και τους δύο πύργους του, υψώνεται ένα από τα σημαντικότερα βυζαντινά μνημεία της Μακεδονίας, η Παναγία Κουμπελίδικη, όπως είναι σήμερα γνωστή. Το όνομά της οφείλεται στη λέξη «κουμπές», που σημαίνει τρούλος, και δημιουργήθηκε στην εποχή της τουρκοκρατίας, για να δηλώσει το κύριο χαρακτηριστικό του ναού, που είναι ο μοναδικός με τρούλο στην Καστοριά. Η βυζαντινή του ονομασία ήταν, πιθανώς, Παναγία Σκουταριώτισσα και Ακαταμάχητος, προσωνύμια που αρμόζουν στην ιδιότητα της Θεοτόκου ως προστάτιδος των τειχών και απαντούν σε επιγραφή της στεφάνης του τρούλου. Για τη χρονολόγηση του μνημείου υπάρχουν διαφορετικές απόψεις. Ο Στ. Πελεκανίδης υποστήριξε την πρωιμότερη χρονολόγησή του στα μέσα του 9ου αιώνα, ο Ν. Μουτσόπουλος την τοποθετεί στα μέσα του 10ου αιώνα, μετά την επιδιόρθωση των τειχών της πόλης, ενώ υπάρχει και η άποψη που στηρίζεται στη μορφολογία της τοιχοποιίας του, η οποία ανεβάζει τη χρονολόγηση στις αρχές του 11ου αιώνα και μάλλον γύρω στο 1020, εποχή αποκατάστασης της βυζαντινής κυριαρχίας στην περιοχή από το Βασίλειο Β΄.

Ο ναός κτίστηκε στον τύπο του τρίκογχου σταυροειδούς με τρούλο και νάρθηκα. Η ισόδομη τοιχοποιία του διακοσμείται με οδοντωτές ταινίες και κεραμοπλαστικά γράμματα στους κάθετους αρμούς ή σε ζωφόρο, στοιχείο χαρακτηριστικό για τα μνημεία της Καστοριάς. Ο τρούλος έχει ψηλό και κυλινδρικό τύμπανο, διακοσμημένο με εφυαλωμένα αβάκια, που αναπτύσσονται σε τρεις ζώνες, και με κεραμοπλαστικά γράμματα. Από την αρχική φάση ανέγερσης του ναού δεν υπάρχουν στοιχεία τοιχογράφησης. Στο μεγαλύτερό του μέρος ο κυρίως ναός και ο εσωνάρθηκας διασώζει πολύ καλής ποιότητας διάκοσμο, που χρονολογείται στην περίοδο 1260-1280. Ξεχωρίζουν τα θέματα που σχετίζονται με το βίο της Θεοτόκου, όπως το Γενέσιο, τα Εισόδια, το Ύδωρ Ελέγξεως, η Μνηστεία και η Κοίμηση. Στην Κοίμηση ο Ιησούς αποδίδεται ένθρονος σε δόξα και αναλαμβανόμενος με την ψυχή της Θεοτόκου. Το σπανιότερο θέμα της ιστόρησης κοσμεί τη σκαφιδωτή καμάρα του εσωνάρθηκα: εδώ παριστάνεται η ανθρωπόμορφη Αγία Τριάδα με τον Παλαιό των Ημερών να φέρει στους κόλπους του το Χριστό Παντοκράτορα, ο οποίος βαστάει τη δόξα με το περιστέρι, που συμβολίζει το Άγιο Πνεύμα. Το εικονογραφικό πρότυπο της παράστασης εντοπίσθηκε σε κώδικα της Βιβλιοθήκης της Βιέννης (Cod. Suppl. gr. 52) του 11ου-12ου αιώνα, όπου συνοδεύει την αναγραφή του Συμβόλου της Πίστεως κατά το ορθόδοξο δόγμα. Οι παραστάσεις αυτής της φάσης χαρακτηρίζονται για την ογκηρή τεχνοτροπία τους, την έντονη σωματικότητα των μορφών, τον πλατύ πράσινο προπλασμό, τα καστανοκόκκινα περιγράμματα, το μενεξελί και το ανοιχτό πράσινο χρώμα. Ανήκουν στο ρεύμα της παλαιολόγειας αναγέννησης και αποτελούν δημιουργία προικισμένου αγιογράφου. Το 15ο αιώνα ο ναός ανακαινίσθηκε με την προσθήκη εξωνάρθηκα και έγινε νέα τοιχογράφηση. Οι παραστάσεις κάλυψαν τον εξωτερικό δυτικό τοίχο με θέματα από το μαρτύριο του Προδρόμου και την Παναγία του Πάθους και ένα μέρος του εσωνάρθηκα με την παράσταση του αγίου Νικολάου. Οι εξωτερικές τοιχογραφίες χρονολογούνται στο 1496, σύμφωνα με κτητορική επιγραφή, η οποία μας πληροφορεί ότι ο δωρητής τους ονομαζόταν Ανδρόνικος. Στα μέσα του 17ου αιώνα, ο ναός ανακαινίσθηκε πάλι με νέα τοιχογράφηση, που σεβάστηκε τις αρχαιότερες φάσεις και κάλυψε τον εξωνάρθηκα και μέρος του ανατολικού τμήματος του ναού μαζί με την κόγχη του ιερού βήματος.

Ο ναός βομβαρδίστηκε το 1940 στον ελληνοϊταλικό πόλεμο, και τότε έχασε το μεγαλύτερο μέρος του τρούλου του, ο οποίος αναστηλώθηκε το 1949. Το 1994 η 11η Εφορεία Βυζαντινών Αρχαιοτήτων διενήργησε ανασκαφική έρευνα κοντά στο μνημείο, με αφορμή τις εργασίες αποκατάστασης των βυζαντινών πύργων της πλατείας Κουμπελίδικης, ενώ τα έτη 2002-2003 πραγματοποιήθηκε συντήρηση των τοιχογραφιών του ναού από συνεργείο της Προγραμματικής Σύμβασης του Δήμου Καστοριάς, του Ταμείου Αρχαιολογικών Πόρων και του Υπουργείου Πολιτισμού.