城东位于远江南部，靠近海岸和横贯当地的道路。1574年，武田胜赖攻占高天神城，威胁德川氏据点。为向东推进防线并准备收复城堡，德川家康于1578年命家臣大须贺康高修筑横须贺城。城堡在随后两年间建成，成为远江争夺战中要塞网络的一环。