薩摩藩第9代･島津忠国が、戦場に必要な旗竿を確保するために、神社境内に今の熊本県から良質の竹を移植させたことから「旗山神社」と命名されたといい伝えられています。竹林は、いわゆる旗竿山の二ヶ所にありました。
旗山神社では大隅半島だけに伝承されている、きわめて古い形式の正月行事「柴祭り」が毎年１月２日から４日にわたって執り行われています。
秋から冬にかけては、神木となっている大イチョウが境内一帯を黄色の絨毯にします。
神社の向いには町の天然記念物となっている、樹齢約８００年以上の大クスがあります。幹回りが16ｍ、樹高30ｍで、中は空洞になっていて祠が置いてあります。