錦江町池田地区にある旗山神社では、1月2日から3日間、場所を移動して正月祭の「柴祭り」が行われます。最後の神事が行われるのが高尾山にある高尾神社です。元来は「高穂神社」でしたが、転訛して「高尾神社」になったそうです。
県道561(神乃川内之浦線)で大根占町に向かうと、灌漑用の3万トンの巨大貯水タンクがあり、その道路向かいの切り取り法面に、高尾神社に至るコンクリートの階段と鳥居があります。
階段を登ると樹林に囲まれた高尾山の山頂（279m）となり、高尾神社があります。木造祠を納めた建物と短歌が刻まれた碑があります。
高尾山から北方に目をやれば横尾岳が見えます。錦江町と鹿屋市の境界の横尾岳周辺では南北朝時代から戦国時代にかけて肝付氏と禰寝氏との戦いが幾度もありました。享禄3年（1530年）には肝付方の橋口但馬守（大姶良城主）が横尾岳を越え禰寝侵入を図りましたが禰寝重就がこれを高尾山周辺で迎え撃っています。この戦では肝付方52名、禰寝方2名の戦死者が出たようです。高尾山には禰寝氏の狼煙台もあったそうです。その名残でしょうか土塁の跡も残っています。
木造祠を納めた建物の横を少し奥に進むと、役行者（えんのぎょうじゃ）像があります。
役行者は7世紀後半（飛鳥時代）の山岳修行者で、奈良を中心に活動したと言われ、本名は役小角(えんのおづぬ)です。日本の山岳宗教である修験道(しゅげんどう)の開祖といわれ、江戸末期（1799年）に神変大菩薩(じんぺんだいぼさつ)の神号を賜りました。
神社の階段下にある碑文には、記録によると高尾山には近世に役行者堂があり、山伏の修験道場であったと書かれています。