Η ενετική έπαυλη στο Καρύδι Βάμου βρίσκεται σε άμεση γειτνίαση με τη μονή του Αγίου Γεωργίου, με την οποία αποτελούν συγκρότημα που έχει χαρακτηρισθεί ιστορικό διατηρητέο μνημείο. Πρόκειται για έπαυλη της ύστερης ενετοκρατίας (τέλη 16ου-α΄μισό17ου αι.) με συνεχόμενο ελαιοτριβείο, ενώ ανιχνεύονται και τα ερείπια ενός μικρού μονόχωρου ναού βορείως του χώρου, πιθανώς του πρώτου ναού του Αγ. Γεωργίου.

Σύμφωνα με τα στοιχεία της εκκλησιαστικής απογραφής του 1637 το κτίριο ανήκε στην οικογένεια των ευγενών Βενετών Vizzamano. Κατά την περίοδο της τουρκοκρατίας, (18ο αι.) η μονή του Αγ. Γεωργίου, όπως και η έπαυλη, παραχωρήθηκαν στην Μονή της Αγίας Τριάδας των Τζαγκαρόλων και αποτέλεσαν μετόχι της, το οποίο ήκμασε μέχρι και τα τέλη του 19ου αιώνα.

Η έπαυλη και το ελαιοτριβείο αποτελούν μία ενιαία κατασκευή με κατά μήκος ανάπτυξη των χώρων. Η έπαυλη διαρθρώνεται σε δύο ορόφους, από τους οποίους το ισόγειο διαρθρώνεται σε δύο τμήματα, το Ανατολικό με τρεις καμαροσκέπαστους χώρους με κατεύθυνση Β-Ν και το Δυτικό που αποτελεί τον ισόγειο χώρο της κατοικίας. Ο μεσαίος από τους καμαροσκέπαστους χώρους διαμόρφωνε στη νότια όψη τοξωτό λίθινο λαξευτό θύρωμα με παραστάδες και προεξέχοντα επίκρανα, που στηρίζουν τοξωτό υπέρθυρο που κατέληγε σε κυματοειδές γείσο. Στη βόρεια πλευρά διαμορφωνόταν άνοιγμα από μεγάλο οξυκόρυφο τόξο που ακολουθεί το σχήμα της εσωτερικής καμάρας. Ο χώρος αυτός αποτελούσε την κύρια είσοδο στην έπαυλη (Διαβατικό). Σε μεταγενέστερη φάση (τουρκοκρατία) το μνημειακό θύρωμα της νότιας όψης σφραγίστηκε, ενώ το μέγεθος του ανοίγματος της βόρειας όψης ελαττώθηκε και διαμορφώθηκε μικρή τοξωτή θύρα κι έκτοτε ο χώρος χρησιμοποιούνταν ως βοηθητικός. Ο πρώτος όροφος αποτελούσε τον κύριο χώρο κατοικίας και η πρόσβαση σε αυτόν γινόταν μέσω λίθινης λαξευτής εξωτερικής κλίμακας επί της Βόρειας όψης.

Το ελαιοτριβείο είναι μονόχωρο επιπεδόστεγο με δύο διπλές ημικυκλικές τοξοστοιχίες, με φορά ανατολή-δύση. Τα τόξα εδράζονται σε πεσσούς ορθογώνιου σχήματος, που είναι κατασκευασμένοι από λαξευμένους γωνιόλιθους, ενώ απολήγουν σε προεξέχοντα κυματοειδή ανάγλυφα επίκρανα.

Η κτηριακή εγκατάσταση περιβάλλεται από Δυτικά με λιθόκτιστο περίβολο που ξεκινά από τη ΝΔ πλευρά, κατευθύνεται βόρεια, σχηματίζοντας Π και οδεύει ανατολικά . Στη βόρεια πλευρά του Π, υπήρχαν ίχνη μικρού παράθυρου. Η κατασκευή ίσως αποτελούσε κάποιο εξωτερικό βοηθητικό δωμάτιο.

Το μνημείο, πριν τις εργασίες αποκατάστασης, ήταν σε άσχημη κατάσταση διατήρησης. Τα κτήρια ήταν ασκεπή και υπήρχαν μεγάλες φθορές στις τοιχοποιίες, ενώ ο περιβάλλων χώρος ήταν σχεδόν απροσπέλαστος από μπάζα, επιχώσεις και άγρια βλάστηση. Μετά το μεγάλο σεισμό του 2006 το κτηριακό συγκρότημα υπέστη ακόμη μεγαλύτερη καταστροφή, καθώς κατέρρευσε σχεδόν ολόκληρη η νότια πλευρά μαζί με το μνημειακό θύρωμα της εισόδου