朝山惟纲是出云国朝山乡的乡司，也是元纲之兄。他的女儿嫁给野木光纲；光纲是佐佐木高纲之子，镰仓时代初期成为乃木保地头。 他们的儿子高定从母亲继承了木津御岛。1221年承久之乱后，惟纲一系大多没落，其弟元纲则成为胜部宿祢一族的惣领。