聂拉木位于西藏与尼泊尔之间的喜马拉雅通道上，附近的玛藏藏布流经陡峭峡谷。聚落以北，一处俯瞰河流的洞窟与藏地瑜伽士、诗人米拉日巴相联系。传说他曾在此多年闭关修行，后来洞窟周围形成了潘杰林寺。这座寺院曾属噶举派，后来归拉萨的格鲁派色拉寺管辖。