广泽实方出身相模波多野氏，是平安时代末期至镰仓时代初期的武士、广泽氏之祖。1155年，他随源义平参加大藏合战，翌年受赐武藏国广泽之地，遂以广泽为姓。 治承·寿永之乱中他追随源赖朝，1184年在藤户之战立功，1192年获赐备后国十二乡。