饭石位于出云南部森林山地，靠近石见与备后边界。臣属于尼子氏的赤穴家占据这一要地的濑户山城。1542年开始的大内氏出云远征中，城池成为双方交战的地点。江户时代，银山街道沿线村庄需提供脚夫和牛马，在通往尾道的路上接力运送金属，经过赤名与布野之间。