一説によると、大宝3年（703年）3月琴弾山で法相宗の高僧・日証上人が修行をしていました。そのうち西の空が暗くなり音がしてきたので浜にでてみた所、一隻の船の上で琴の弾く老人を見つけました。琴の主は「我は八幡大明神なり。都の近くで朝家（朝廷と国）を守護しようと宇佐より来たが、この地の風光があまりにも素晴らしいので去り難い」と上人に言いました。

上人は驚いて村人とともに船と琴を山に引き上げて社殿を作りお祀りし、琴弾八幡と名付けると同時に、神宮寺として宝光院（現在の四国八十八ヶ所霊場第69番札所・観音寺）を建てました。当時は神社と寺の境の区別がない、神仏習合の寺社でした。大同2年（807年）唐から帰国した空海が立ち寄り、琴弾八幡の本地仏である阿弥陀如来を描いて本尊としました。

鎌倉時代以降、鎌倉〜室町時代頃より広まった四国遍路では、琴弾八幡宮は観音寺と共に一山二霊場となりました。四国遍路が八十八ヶ所として整備されると琴弾八幡宮は68番札所になりましたが、明治以降、神仏分離によって琴弾八幡宮と観音寺が分離すると、琴弾八幡宮にあった阿弥陀如来像を観音寺西金堂に移して68番札所 神恵院としました。この際に、琴弾八幡宮は「琴弾八幡神社」に名前が変更されていますが、戦後現在の琴弾八幡宮に名を戻しています。

琴弾八幡宮は源氏の信仰を受けています。
源頼義
前九年の役（平安時代後期の陸奥国で起こった戦い）の前に使者を遣わして願文を納める。
源義家
源頼義の子。社殿を造営し神馬を奉納。
源義経
元歴（1185年）屋島の戦いの後、平氏追討を祈願して鳥居と馬を奉納。
源頼朝
一千貫文（現在の約1億円〜1億5千万円相当）の領地を奉納。