初代天皇である神武天皇の長兄である五瀬命を主祭神に、次兄の稲氷命・三兄の御毛沼命を配神を祀っている当社は古くは兄神社と称されたと伝えられています。しかし古文献によると社名から平安時代の参議秋篠安仁、右近衛大将安倍朝臣安人、和珥氏の祖神、天照大神、吉備津彦命もしくは地主神が祭神とも考えられ、中々定めが付かなかったことから1870年（明治3年）の神社明細帳では未詳と記載されています。現在定められている五瀬命の名前が出てくるのは安仁神社社務が1875年（明治8年）に作った安仁神社御傳記ですが、しかし、その後の1925年（対象14年）に作られた安仁神社誌ではやはり定まらなかったのか社名に神をつけて安仁神と記されています。そして1952年（昭和27年）、第二次世界大戦が終わったのちに作られた神社明細帳で改めて五瀬命と記され、今に至ります。
当社の社殿は元々宮城山の山頂にありましたが、1344年（康永3年）に消失してしまい、現在の中腹に備前藩主池田綱政によって再建されました。また、明治時代には本殿後方から弥生時代中期の銅鐸が発見されましたが、県の重要文化財に指定され、今では岡山県立博物館に寄託されています。