『延喜式神明帳』に「答志郡粟島坐伊射波神社」、また建久３年、皇太神宮年中行事に「加布良古の明神」とあるのがこの社のことで、志摩の国一の宮とされています。創建の時期は不明ですが、１５００～１６００年を経たと伝えられており、お社から更に岬の先には、もう１つの神様（領有神―うしはくがみ）が祭られ、朝日の遥拝所があって正月には初日を拝む人で賑います。御神威は、縁結び・夫婦和合・海上安全・大漁祈願・五穀豊穣・合格祈願・病気平癒（特に女性）。御崎の先には、別に領有神が祀られております。玉垣内には丸白石が敷き詰められており、古くから漁民はこの白石を船霊として船中に安置し、豊漁を祈る習慣がありました。船守りとして白石を持ち帰った際は、必ず2倍3倍にして社地へ返さねばならないとされています。
『志陽略誌』によると、戦国時代に社地を失ったとされ、また、安政元年（1854年）11月の大地震と大津波、火災によって記録が流失・焼失したと言われております。明治の近代社格制度では無格社とされましたが、昭和31年（1956年）籠堂が再建され、昭和51年（1976年）本殿と拝殿が造営。平成13年（2001年）神明造の本殿と拝殿を現在地に造営して遷座いたしました。
鳥羽市安楽島町の加布良古岬のほぼ中央に存在する伊射波神社。三重交通バス「安楽島行」の終点から、徒歩約３０分。海岸に建つ鳥居をくぐると石畳の参道が続きます。加布良古崎（かぶらこざき）にあるため、地元では”かぶらこさん”とも呼ばれております。海に向かって鳥居が建っており、昭和初期までは海岸まで船で来て参拝しておりました。また縁結びの御神威でも知られており、また一の宮巡拝で訪れる人も多くおられます。