Στο Αρμενοχώρι της Καστοριάς, βορειοδυτικά του σύγχρονου οικισμού του ’ργους Ορεστικού, τοποθετείται η πόλη την οποία ίδρυσε τον 3ο αιώνα ο αυτοκράτορας Διοκλητιανός (284-305). Τρεις αιώνες μετά, ο ιστορικός Προκόπιος διασώζει την ακόλουθη πληροφορία που αποτελεί σημαντική ιστορική μαρτυρία για την ιστορική γεωγραφία της περιοχής: "Πόλις δε ην τις επί Θεσσαλίας, Διοκλητιανούπολις ονομα, ευδαίμων μεν το παλαιόν γεγενημένη, προϊόντος δε του χρόνου, βαρβάρων οι επιπεσόντων καταλυθείσα και οικητόρων έρημος γεγονυία επί μακρότατον. λίμνη δε τις αυτή εν γειτόνων τυγχάνει ούσα, η Καστορία ωνόμασται. και νήσος κατά μέσον της λίμνης τοις ύδασιν περιβέβληται….. διο δη ο βασιλεύς ουτος τον Διοκλητιανουπόλεως υπεριδών χώρον άτε που διαφανως ευέφοδον όντα και πεπονθότα πολλώ πρότερον άπερ ερρήθη, πόλιν εν τη νήσω οχυρωτάτην εδείματο, και το όνομα, ως εικός, άφηκε τη πόλει". Σύμφωνα με την παραπάνω μαρτυρία, μετά την καταστροφή της Διοκλητιανούπολης από τις βαρβαρικές επιδρομές, πιθανότατα των Γότθων του 4ου αιώνα, ο Ιουστινιανός ίδρυσε στην γειτονική λίμνη, την νέα πόλη της Καστοριάς.

Η παραπάνω πληροφορία που διασώζουν οι ιστορικές πηγές της περιόδου, τεκμηριώνεται άμεσα μέσα από τα πορίσματα των αρχαιολογικών ερευνών.

Συγκεκριμένα, στα ερείπια του Αρμενοχωρίου, ανασκάφηκαν τμήματα των τειχών, των λατρευτικών και κοσμικών κτιρίων οχυρωμένου οικισμού που ταυτίζεται με την Διοκλητιανούπολη. Ειδικότερα ο ανασκαφικές έρευνες που πραγματοποιήθηκαν τα τελευταία έτη στο ΝΔ τμήμα της πόλης, μαρτυρούν καταστροφή του τείχους στον 4ο αιώνα, η οποία μπορεί να συνδεθεί άμεσα με την επιδρομή των Γότθων. Τα αρχαιολογικά δεδομένα ωστόσο, μαρτυρούν ότι μετά από την καταστροφή του 4ου αιώνα, ακολούθησε, σε κάποιες περιπτώσεις, ανοικοδόμηση των κατεστραμμένων κοσμικών και λατρευτικών κτισμάτων. Ωστόσο, η παρακμή της πόλης είχε ήδη αρχίσει, και αρκετά νωρίς, πριν την εισβολή των Οστρογότθων τον 5ο αιώνα, ο πληθυσμός είχε ήδη αρχίσει να εγκαταλείπει την πεδινή πόλη καθώς δεν μπορούσε πλέον να προσφέρει ασφάλεια στους κατοίκους της. Έναν αιώνα μετά, ο Ιουστινιανός, ιδρύει λίγα χιλιόμετρα βορειότερα την λίμνη της Καστοριάς, η οποία έμελε να εξελιχθεί στο σημαντικότερο κέντρο της περιοχής για τους επόμενους αιώνες.