霊山の山頂には、かつては巨大な山岳寺院が存在しました。それが、平安初期(859年)に慈覚大師によって開山された霊山寺です。南奥州における天台宗の拠点として栄え、「霊山寺縁起」によると最盛時には3,600もの僧坊を擁していたようです。戦乱の影響で文献史料はあまり残されておらず、発掘調査が行われるまでは、その全容はわかっていませんでした。
1980年の発掘調査により、50棟もの礎石群が発見されました。日枝神社観音堂の遺構も見つかっており、比叡山延暦寺との共通点が指摘されています。寺屋敷、東寺屋敷、古霊山の3区分された規模は、さながら“北の比叡山”とも呼ぶべき大伽藍でした。