军山为海中岛屿时，相传曾为秦王屯兵之地，因形似伏象，又名象山。俯瞰军山，山水相依自然构成一幅八卦图。
　　明代山西高僧法空驻锡军山，创建普陀禅院，狼山总兵题榜出门，著名书法家董其昌撰写了《军山普陀别院碑记》，认为于浙江普陀山相比“不减珞珈真境”。寺庙、宴堂曾多达百余处，为昔日东南佛门胜地。山上古迹有：燕真人洞、白云泉、四贤祠、包公祠、董其昌碑刻及中国历史上最早的民办气象台等。