民间传说禅宗三祖僧璨爱其灵秀，曾在山腰打坐。凤为雏凤，不堪重负，竟然矮下三尺去，因此又名"坐山"。“峭拔秀丽，迥出群峰”山因李白曾避地于此而闻名遐迩，有石刻"陇西"二字相传为李白的思乡之作。

唐代宗宝应年间，清远禅师访胜来此依山建寺，寺以山名。因清远禅师道行高深而香火鼎盛、名噪一时，香客远及江浙，僧徒多达八百。后不知毁于何时。道光二十年从九方美砚捐修中重东岳殿及两廊，咸丰九年又惨遭寇毁。民国二十二年乡绅募捐重修，建国后逐渐荒废零落，文革时竟被夷为平地。2002年由当地村民再度募捐择基重建，翌年上佛殿在原址之上近200米的地方落成。新落成的独阜寺，距离105国道8公里，水泥路一直通到寺门口。2013年因机缘所致，承蒙吉林磨盘山能禅老和尚幸临此地，能禅老和尚协徒妙安师傅在此弘大愿兴祖师道场、宏扬佛法、宣传禅宗文化，独阜寺正在以崭新景象续写新的篇章。