Povijest „Kosmatoga grada“ puna je legendi i usmenih predaja. Kaštel je služio za nadziranje cijele doline rijeke Mirne i središnje Istre akvilejskim patrijarsima u srednjem vijeku i Mlečanima u XV. st. Kaštel Petrapilosa nalazi se 6 km zapadno od Buzeta, nedaleko ceste koja vodi uz rijeku Mirnu prema Livadama i Motovunu. Srednjovjekovni dvorac smjestio se na visokoj hridi koja dominira širim područjem uz rječicu Bračanu. Stoljećima je predstavljao odličan vojno - obrambeni položaj s kojeg se kontroliralo svako kretanje poljem ili cestom širom doline.
Prvi pisani izvori spominju utvrdu – Ruin, još u X. st. Od tada pa do početka XIII. st., u Istri su se izmjenjivala razdoblja dugotrajnih borbi za nasljedno pravo vlasti između germanskih feudalnih obitelji, akvilejskih i gradeških patrijarha. Akvilejski patrijarh preuzeo je zamak 1208. g. i držao ga je u posjedu sve do 1420. g. kada ga je oduzela Venecija. Ime feudalca Vulingiusa de Petrapilosa, kao akvilejskog vazala, prvi se put pojavilo u spisu 1210. g.
Nakon 1420. g. kaštel Petrapilosa je prešao pod upravu Serenissime.
Godine 1440. mletački je dužd dodijelio Nicoli Gravisiju iz Pirana Castrum Petrapillosae u „vječni feud“ koji je sačinjavalo 12 sela na oko 89 km2 zemlje. Od tada su se izmijenili brojni nasljednici, a Kaštel je opstao sve do kraja XVIII. st., iako je prema nekim izvorima Kaštel izgorio u drugom desetljeću XVII. st. i poslije nije više bio obnavljan. Crkva Sv. Marije Magdalene koja se nalazi u sklopu kaštela Petrapilose ostala je u funkciji sve do 1793. g., iako se život u utvrdi ranije ugasio. U crkvici su nakon početka obnavljanja 1999. g., pronađeni brojni ostatci srednjovjekovnih fresaka koji se danas čuvaju u Zavičajnom muzeju u Buzetu.