西国観音霊場第十四番礼所である観音堂はもとは聖願寺とも正法寺とも呼ばれ、 現在地よりもはるか山上の華の谷というところにありました。 この華の谷に登るには道が険しく、また女人結界のため婦人方は参詣ができず、 観音さまの御利益を願う人々からは残念に思われていました。

文明九年三月のある夜、寺中の僧たちの夢の中に寂しげな様子の老僧が現れ、 「自分は華の谷に住まう者だが、いまの場所では大悲無辺の誓願を達成できないので、 これからは山を下り人々の参詣しやすい地に移り、衆生を利益したい」と告げられました。

僧たちは相談して、観音堂を山下に移すことにし、文明十三年（1481）に現在の地に 移されたといいます。
以来、今に至るまで多くの人々が観音さまと結縁され、四季を通じて巡礼の善男善女が 参詣するようになりました。