天平年間（729～749）年、行基が開創。後に弘法大師が荒廃した堂舎を復興させたと伝えられ、参道入口には三輪鳥居が立つ。崇徳上皇を祀る社の別当寺であったことから天皇寺と名がついた。

創建は聖武天皇の時代、天皇の勅命により行基が開基。本堂は鎌倉時代の建造、本尊は丈六の十一面千手観音立像。本堂、本尊、梵鐘は重要文化財に指定されている。

弘仁６（８１５）年、弘法大師が開基。境内には平安時代に白峯で葬られた崇徳上皇の御陵（墓所）が残る。参道の木立に上皇の供養塔である十三重塔が立っている。

入唐前の弘法大師が5つの峰に金剛界曼陀羅の五智如来を感得し、五大明王を祀って花蔵院を創建。のちに智証大師が千手院を建立し、両院を総称して根香寺と呼ぶ。

8世紀はじめに義淵僧正が開基。のちに、四国で修行をした際、弘法大師が聖観世音菩薩を安置し本尊とした。薬師如来を祀っていることから病気平癒などのご利益があり、御朱印や御守りも授かれる。

天平勝宝６（７５４）年の創建時に鑑真和上が屋島の北峰に寺を置き、弘法大師が南峰に現在の伽藍を建立したといわれる。本堂や梵鐘などは重要文化財に指定されている。

境内背後には、弘法大師が降ってきた五本の剣を埋めた五剣山がそびえる。入唐求法の成否を占って植えた8つの焼き栗が成長繁茂したのが寺名の由来。商売繁盛、縁結びの歓喜天も有名。