Το φρούριο των Καλαβρύτων χτίστηκε περίπου το 1208 από τους Φράγκους κατακτητές του Μωριά. Το πριγκιπάτο της Αχαΐας είχε διαιρεθεί σε πολλές βαρονίες και μια από αυτές ήταν και το κάστρο των Καλαβρύτων, την οποία ο γενικός διευθυντής της Πελοποννήσου Γοδεφρείγος Α’ Βιλλαρδουίνος την παραχώρησε στον Όθωνα ντε Τουρναί να το διαφεντεύει. Μετά από χρόνια οι Τουρναί πέθαναν χωρίς άρρενες απογόνους και η βαρονία των Καλαβρύτων πέρασε στους Φράγκους χωροδεσπότες της Χαλανδρίτσας de la Tremouille. Αυτοί χτίσανε και ένα μικρό καστράκι απέναντι από το μεγάλο, πάνω στο βουνό Πριόνι.