怀远位于榆林西南的边地丘陵,俯临芦河。明朝于1458年筑怀远堡,作为榆林卫中路防御的一部分,与其他堡寨共同守卫河谷和北方草原之间的边界。城墙占据高于周围地面的山顶。清雍正九年(1731),朝廷合并怀远及附近四堡设置怀远县,将旧军堡名延续为县名。