Με αδιάλειπτη κατοίκηση από τα νεολιθικά ως τα μεσαιωνικά χρόνια, η Φειά ή Φεά στο σημερινό κόλπο του Αγίου Ανδρέα, στην περιοχή του Κατακόλου, αποτελούσε κατά την αρχαιότητα σημαντικό λιμάνι, επίνειο της Πισάτιδας και όριό της με την βορείως κειμένη περιοχή της Κοίλης Ήλιδας. Όταν η Ήλιδα υπέταξε την Πίσα και τις άλλες πόλεις ως περιοίκιδες, η Φειά λειτούργησε ως το δεύτερο σε σπουδαιότητα μετά την Κυλλήνη λιμάνι του ηλειακού κράτους.

Στη βυζαντινή περίοδο το οικοδομικό υλικό της αρχαίας ακρόπολης χρησιμοποιήθηκε για την κατασκευή κάστρου, στα κατώτερα μέρη της τοιχοποιίας του οποίου διατηρήθηκε το αρχαίο τείχος με εμφανή τα ίχνη επισκευής του από τους μετέπειτα (από το 1204 και εξής) φράγκους κατακτητές του. Το φρούριο είναι γνωστό στις πηγές ως Ποντικόκαστρο (πρώτη μνεία το 1111), ονομασία την οποία οφείλει κατά μια ερμηνεία στον πόντο, το προσηγορικό των θαλασσών (ποντικό, παραθαλάσσιο κάστρο) ή κατά μια άλλη εκδοχή στην ομοιότητα της κάτοψης του λόφου με ποντικό. Στο Χρονικό του Μορέως, το κάστρο είναι γνωστό επειδή σε κάποια αίθουσά του συμφωνήθηκε ο σημαντικός γάμος του Γοδεφρείδου Β' Βιλλεαρδουίνου, κληρονόμου του Πριγκιπάτου της Αχαΐας και της Αγνής Κουρτεναί, κόρης του λατίνου αυτοκράτορα στην Κωνσταντινούπολη Πέτρου Κουρτεναί, όταν έτυχε να φιλοξενηθεί εδώ με την μητέρα της, καθώς μετέβαιναν δια της θαλάσσης στην βασιλεύουσα. Στη "Γεωγραφία Παλαιά και Νέα", ο μητροπολίτης Αθηνών Μελέτιος μας παραδίδει για το κάστρο του Κατακόλου την ονομασία "Καλοσκόπιον", την ελληνοποιημένη εκδοχή της ιταλικής του ονομασίας ("Belvedere").