加茂位于佐渡岛，靠近加茂湖与两津湾。河流带来的沙粒堆积成沙洲，将湖泊与海湾分开，岛屿中央平原两侧则有山地耸立。聚落沿湖与海之间的狭窄地带发展；战国时代末期，夷和凑两个港口已在这里形成。港口面向本州海岸，依托海湾获得相对避风的水域。