四会坐落在绥江流域,江水穿过丘陵向东南流入北江。1390年,当地以木栅围起县城;1464至1467年间,明朝在旧址筑砖城,开四门,城外又挖有壕堑。城内有县署和宋代创办的学宫。1782年,知县在学宫旁兴建绥江书院,为古城增添了一处讲学之所。