胜归山在姚城北部,原称圣龟山,东晋隆安二年(398),将军刘牢之剿灭孙恩起义部队后,归屯此山。以同音故,改称胜归山。
胜归山石质精良坚细,自宋元时起,百姓就开宕取石,破坏了山体风貌,历代官府屡禁而不能止。明嘉靖二十七年(1548),胡宗宪任余姚知县,即捐俸银赎买胜归山归官,开凿山石之风得以禁止。十年之后,胡宗宪调任浙江总督。当时倭患频仍,胡宗宪为抗击倭寇,转战东南沿海,其间多次往返于余姚,屯兵于胜归山中。后人为纪念胡宗宪任职余姚的业绩和抗击倭寇的战功,特于嘉靖四十年在胜归山南坡雕凿胡宗宪官服像,称之为“胡公岩”。自此岩雕大兴,历时三百九十余年。形成浙江省少见的摩崖岩雕群。胡公岩周围均是佛像,有袒胸露肚、捧腹大笑的弥陀佛,有手执破芭蕉扇疯态可掬的济公像。胡公岩上方是观音大士象,曲脚盘坐莲花宝座上,座下是浪涛翻滚的南海,有巨鳌游弋。东侧有赤脚踏宝莲台的释迦牟尼立像,以及横眉竖眼的多尊罗汉立像,各高5米左右。这些造像形态生动,神姿各异,造形巧妙,可见工艺之精湛。
胜归山旧有刘将军庙,祀东晋将军刘牢之。到明嘉靖年间,在庙前增建复初书院。至明万历前期,有僧人将庙改建为灵岩禅院,俗称胜归山庙。近年重修更名为灵岩禅寺。
近年来为弘扬胜迹文化,发展旅游业,除了将原来崎岖不平的山路修建为石级水泥路外,又在路旁新建亭子和胡公岩庙宇。山石间隙中古柏葱郁,翠竹婆娑,潭水暗绿,深不可测。登上这苍翠的胜归山山巅,向南俯瞰姚城,则见阡陌纵横,道路蜿蜒,层楼耸立,车船竞飞,繁荣的风貌,尽揽眼底。