安芸郡位于广岛湾附近，古代山阳道经过这里，通向本州西部。安芸国府设在府中，最迟在平安时代中期已迁至此地。道路向东翻越大山峠，进入邻近的贺茂郡；此段山路艰险，后来也成为西国街道上著名的难关。安芸之名既属于这一地方郡，也属于它曾经服务的国。