高山城は18代にわたりこの地を治めた肝付氏の本拠地でした。肝付氏は、薩摩を治める役人として安和元年（968年）中央政府から派遣された伴兼行を先祖とする一族です。伴兼行のひ孫にあたる兼俊が長元9年（1036年）この地に移り住み統治し、肝付姓を名乗ったのが一族の始まりです。
戦国末期の16代肝付兼続は、肝付家の領国を最大（十数万石）にまで広げ、日向の飫肥城を制圧するなど、ほぼ大隅半島を制するほどの勢力を誇っていました。肝付氏は天正2年（1574年）に僧･其阿（きあ）の仲介により島津氏と和睦しました。天正8年（1580年）に阿多（現在の南さつま市金峰町）へ移封されることになりました。
高山城の築城時期については諸説あります。不落の名城で、文献の上では14代・肝付兼久が叛いたと言って、島津氏11代忠昌が自ら柳井谷に本陣を構えて、1506年（永正3年）8月6日から10月12日まで攻撃したが攻略できなかったという記録が残っています。
高山城は周囲を３つの川に囲まれ、中古以来の騎馬戦を主とする攻防戦（山岳戦）には理想的な険しい城砦です。
城内は本丸(下図左)・二の丸・山伏城・奥曲輪などが空堀（下図右）で区画され、大来目神社・枡形・馬乗馬場・湯沸場・土塁・搦手（からめて）・岩石をくり抜いた切り通し・大手門などがあります。また、城の西側の低地には土小路・弓馬地・馬乗馬場があり、総面積50ヘクタールの大規模な城です。
高山城は中世の城郭として学術上貴重な文化財といわれ、昭和20年（1945年）に国指定史跡となりました。
大隅史談会では、11月15日に「高山城跡、柳井谷の陣跡、道隆寺の現地研修会」を開催します。参加を希望される方は、「現地研修会のご案内」をご覧下さい。