牛馬の神として名高い当社は707年（慶雲4年）に創建されました。一説には美作国が備前国から分立した際、吉備中山の勧請を受けたともされています。読みはなかやまですが、昔はちゅうざんやちゅうぜんと呼ばれていたこともあります。別称として仲山大明神や南宮と呼ばれることもあります。1533年（天文2年）、戦国時代の武将である尼子晴久の美作攻めのため社殿が焼失しましたが、1559年（永禄2年）尼子晴久自身によって再建されたのち、国指定の重要文化財となりました。
かつては摂末社が112社ほどありましたが、上記の焼失と時を同じくしてこちらも焼失してしまい、現在では5社しか残っておりません。総神殿、国司社、御先社、などがあり、中でも残っているうちの一社、猿神社は今昔物語などに登場したもので、今も本殿の裏にあります。