乌苏位于天山北侧、奎屯河以西。旧名库尔喀喇乌苏被解释为“寒冷的黑水”，指这里的河流及准噶尔平原边缘的水地。1757至1758年清军征讨准噶尔时，此地归入清朝；其后，清廷在这里设领队大臣，管辖周围边疆地区。