香西氏是赞岐的武家，香西元成据有胜贺城，侍奉细川氏。 香西元成参加了1547年的舍利寺之战和1549年的江口之战，后者使主君细川晴元被三好长庆逐出京都。元成继续以丹波为据点抵抗，1551年进攻京都，1560年在炭山城与三好氏作战时阵亡。