当社の始まりは姥神を祀ったのが始まりと伝わっています。この姥神というのは社伝によると、創建された江差の海辺の津花町の浜に住んでいた、折居様と呼ばれた老婆のことです。折居様には予知能力があったとされ、天気や病気と言った予言を伝えてくれるので、周囲からは非常に敬われていました。その折居様はある春先、神島から光が発せられていることに気づき、島に渡ります。そしてそこで海にまくとニシンが沢山やってくるという水の入った小瓶を老翁から授かります。戻ってきた折居様はその小瓶の水を海へまき、そのおかげで村は豊漁に恵まれました。しかし村人が折居様にお礼を伝えようと尋ねると、そこに折居様はおらず、神像だけが残されており、その神像を祀ったのが始まりとなったのです。
1644年（正保元年）に今の場所に遷座しましたが、現在の境内にある折居社は、まさにその姥神を祀ったものだと言われています。ただ、このほかにもアイヌ時代の伝承を起源とする説もあり、大まかな話の内容に変わりはないものの、その歴史ははっきりとしていません。