瑞山位于忠清道西部，海岸有众多海湾与半岛。附近海美的石砌邑城在朝鲜王朝时期曾是兵营所在地。十五世纪时这里已有重要驻军，南门上的题记记载了1491年的修筑工程。1712年，另一处军营迁到海美，县监兼任营将。