卡斯尔赫丁厄姆兴起于德维尔家族的堡垒脚下。这个家族受封牛津伯爵，在诺曼征服后掌握了此地庄园；高耸于埃塞克斯乡间的诺曼主塔，至今仍见证着他们的权势。1216年以前，当地已有市场，聚落在德维尔家族的居所旁发展为一座小小的城堡镇。