当社のはっきりとした創建は不詳とされていますが、言い伝えでは秋田や津軽の漁民が毎年春に来て秋に帰るという形で当地に漁をしに来ていたものの、アイヌによる危難を避けるために伊勢神宮の大麻……いわゆるお札を小祠に祀り、これを唐津内町に建て、伊勢堂、と呼び始めたのが始まりとされています。しかし1582年（天正10年）には領主蛎崎季広が蔵町に遷座して神明社、と名称を改めました。ですが更に1871年（明治4年）村社に列した後今現在の社名である徳山大神宮に名称を改め、その後郷社に昇格しました。1652年（承応元年）に松前藩主である松前高広が現在の場所に社殿を造営し、遷座し、伊勢神宮から正式に神璽を奉請しました。それにより現在祀っているのは天照大御神と豊受大神の２柱となります。ですが、実際には近隣47社の神社と合祀したため、その他46の神も祀っています。合祀した神社の中には祀っている神が同じだったところもいくつかあり、それ故に同じ神が複数祀られています。また、1971年（昭和46年）には本殿が北海道有形文化財に指定されましたが、後に修理を行った際、拝殿を神明造に改築し、今の姿があります。