潭柘寺后有九峰环抱，寺前山峰则如巨大屏风，俗语有云：“前有照，后有靠，左右有抱”描述的就是它的地理位置。寺庙依山取势，气度恢弘。殿堂逐级向上，参差错落层层排列，四周有高墙环绕。寺院内外古木参天，寺前流水淙淙，僧塔如林，修竹成荫。清康熙皇帝称赞这里是：“名山胜境不次于五台山。”1957年，潭柘寺被列为第一批市级文物保护单位。

    潭柘寺占地面积6.8公顷，寺院坐北朝南，主要建筑可分为中、东、西三路，中路主体建筑有山门、天王殿、大雄宝殿、斋堂和毗卢阁。东路有方丈院、延清阁、行宫院、万寿宫和太后宫等。西路有愣严坛（已不存）、戒台和观音殿等，庄严肃穆。此外，还有位于山门外山坡上的安乐堂和上、下塔院以及建于后山的少师静室、歇心亭、龙潭、御碑等。塔院中共有71座埋葬和尚的砖塔或石塔。

    山门外是一座3楼4柱的木牌坊，牌楼前有古松二株，枝叶相互搭拢，尤如绿色天棚，牌楼前有一对石狮，雄壮威武。过牌坊是单孔石拱桥，名“怀远桥”，过桥就是山门。

    天王殿殿中供弥勒像，背面供韦驮像，两侧塑高约3米的四大天王神像。天王殿两旁为钟鼓楼，后面是大雄宝殿。宝殿面阔五间，重檐庑殿顶，黄琉璃瓦绿剪边，上檐额题“清静庄严”，下