余姚位于浙东姚江之畔，是明代思想家、官员王阳明的故乡。王阳明重视人的良知，曾在龙泉山中天阁讲学，吸引远近学子前来听讲。 他去世后，门人仍聚会传习。1639年，学者们因龙山讲会久未举行，在城南购置旧宅兴办义学，后来发展为传播阳明学说的姚江书院。