常香楼は、山門と本堂との間に建っています。昭和三十年(１９５５）に現在の所に移す前は、今より数m西南にありました。

天保四年（１８３３)に当寺七十九世尭偏が建立した当時は、唐銅（からかね）の大香炉の上屋として使用され、山門内部を見上げその位置は、大師堂の正面に当たっていました。そのため幕末の大火の際に大師堂の火で焼かれ、そのきずあとが今は北側になった面に残っています。山門とともに焼け残ったのです。

屋根で測っても九尺(２．７２m)四方しかない小建築ですが、そこに密度の高い意匠がこらされています。それは、几帳面の角柱四本を内転びに立て、頂部で虹梁（こうりょう）を架し、ゆるく反った側面には若葉等の彫り物を施して隅には獅子鼻を付ける。柱上には組物、虹梁上には蟇股（かえるまた）を置く。内部は格天井（ごうてんじょう）、軒は禅宗様（ぜんしゅうよう）の扇垂木（おおぎたるき）。屋根は方形（ほうぎょう）造りの銅板葺き。中央に金色真鍮鋳物の宝珠を載せるといったものです。

珍しいのは四隅の降棟（くだりむね）の先に金色真録鋳物の鳳凰の頭を取り付けていることでしょう。四本柱の内側には、開創１２５０年を記念して寄進された新しい唐銅の焼香炉が置かれています。