清真寺为二进院，占地面积2800平方米（原有面积5000平方米），有伊斯兰教特有的建筑，如大殿（礼拜殿）、讲堂（讲经堂）、水房（沐浴室）、省心楼等，布局紧凑严整。寺院开有东西两门，1958年扩建解放路前，东门为正门，面临狭窄的东米市牛肉巷。扩建解放路后，西门改为正门，面临宽阔的解放路大街。 省心楼，是教民们忏悔的地方，面对东门入口，峭立于庭院中央。上下两层，重檐歇山顶，四周檐角双层飞翘，底层外围红漆木柱内倾支撑，玲珑俊俏。内有明代著名学者方孝孺的题匾：“声吟不及清”，字为草体，龙飞凤舞，堪为书法珍品。省心楼的西北、西南两侧，六角碑亭对峙。北亭石碑立于清康熙三十三年（1694），碑面刻文为康熙皇帝的诏谕，“文革”期间大都被凿。

　　寺内大殿为砖木混合结构，檐柱砌入墙内，殿内为阿拉伯式装饰，圆柱挖槽迭楞，彩绘施沥粉贴金，富丽堂皇。周围木壁上刻有阿拉伯文《可兰经》第二十九、三十本中经文数段，雕刻精细工整。整个大殿，宽大疏朗，布局严谨。