田丸城は南北朝時代の1336年に北畠親房によって築城され、伊勢神宮に近いことから、戦略的な要衝として幾度も争いに巻き込まれました。1575年には、織田信長の伊勢侵攻に伴い、北畠氏を継いだ信長の次男である織田信雄が三層の天守を築き城主となりましたが、天守は1580年に焼失。江戸時代には紀州徳川家の所領となりました。明治時代に入り、城内の建物はほとんど取り壊されましたが、天守台や石垣、堀などの遺構は今も残されています。

1805年頃に全国から寄進された西国三十三所の観音霊場と同じ本尊の石仏が33体あり、さらに敷地内には順礼道引観世音と刻まれた碑が立てられています。また、観音堂には熊野への道の安全を祈願する御詠歌が掲げられています。