安倍位于骏河安倍川流域，今川氏曾以骏府为中心。今川、武田氏相继衰亡后，德川家康于十六世纪八十年代在此筑城。1590年他迁往江户，将将军职位传给儿子后又返回骏府。1607年城堡大规模扩建，隐居的家康仍从这里发挥政治影响。