妖怪神社が初めて歴史に登場するのは、今を溯ること1600年前、雄略天皇の治世にまで溯ることができます。言い伝えによると、朝鮮半島外交の政策転換を図った雄略帝が百済へ勅使を派遣する際、護国祈願のため妖怪神社に玉と鏡を奉納したとあります。
御神体が夜見(黄泉)ヶ浜に辿り着いた時、天空より一筋の白光が龍のように躍り来て、夜見ヶ浜の村人を御神体まで導いたと言われています。
三徳山開山の折、この地を訪れた「役行者」が霊験を感じ祈祷すると、不思議なことに御神体から一片の岩が音も無く剥れ落ちたと言います。それがこの目玉石と言われています。
祈りながら撫でると眼病に効くといわれております。