当社の創建は不詳ですが、続日本後紀の842年（承和9年）ごろに記載があり、その頃には既にあったとされています。平安末期に一宮と定められたものの、徳川時代の中頃まで衰微していた時期があります。その後武士の時代に差し掛かったこともあり中々再興に至りませんでしたが、1773年（安永2年）、庄屋によって例大祭が復興されました。そして1872年（明治5年）村社となり、1889年（明治22年）以降は社殿や境内地などが整備され今に至ります。
当社は由良の浜（イカ寄せの浜）が社前にあり、イカの伝承が残っています。このイカの伝承というのは芋桶で渡っている由良比女命の海へ垂れた手をイカが引っ張ってしまい、そのお詫びとしてイカの群れが浜に押し寄せる様になった、というものです。実際に数々のイカに纏わる実績がありますが、本来寄ってくる11月から2月のピークも今では海況の変化などで昔ほど見られなくなってしまいました。