Rímskokatolícky farský kostol v Kaumbergu pochádza z 12. storočia a bol postavený v gotickom štýle. Je zasvätený svätému Michalovi Archanjelovi. Zvonica, loď s rebrovou klenbou a obranný múr pochádzajú z 15. storočia. V roku 1993 bol zakúpený dvojmanuálový organ s 13 zastávkami a v roku 1995 dostali kostol a veža novú strechu zo smrekovcových šindľov. Farnosť bola založená okolo roku 1280 kláštorom Klein-Mariazell. Od roku 1653 patrí opátstvu Lilienfeld. Kostol pri vstupe do údolia Laabach a vo vyvýšenej polohe je bývalý opevnený kostol. Je čiastočne obohnaný obranným múrom a bol postavený vo viacerých stredovekých stavebných etapách. Trojloďová gotická loď s krížovou rebrovou klenbou a apsida boli postavené okolo roku 1400. Široké presbytérium má osovú odchýlku od lode a 5/8 ukončenia. Veža na západe s tromi podlažiami a priechodným portálom má štvorcový pôdorys a je pravdepodobne sčasti pozostatkom starého obranného systému. Veža pochádza z roku 1852 a šindľová krytina veže a kostola bola obnovená v roku 1948 v dôsledku následkov vojny v roku 1945.
Na severe je medzi dvoma opornými piliermi pristavaná plytko vystupujúca kaplnka Márie Lurdskej zo 17./18. storočia, o ktorej sa predpokladá, že pôvodne mala románske stavebné jadro. Na juhu je pristavaná neskorogotická predsieň, sakristia a spojovacia miestnosť (spovedná kaplnka) medzi nimi.
Rekonštrukcia kostola
V lete 1945 sa začali práce na provizórnej stavbe strechy kostola a veže, do ktorých sa vzorne zapojilo miestne obyvateľstvo (práca a vecné dary). V roku 1955 bola vykonaná vonkajšia rekonštrukcia a v rokoch 1958/59 nasledovala rekonštrukcia interiéru.
