肝属位于大隅半岛，河流从林木丘陵流向海洋。肝付氏世代居于高山城，利用周围陡峭河谷作为天然防御。中世纪至战国时代，他们多次与岛津氏交战。十六世纪七十年代，岛津氏击败这一对手，肝付氏最终离开祖传城堡，迁往九州南部其他领地。