盘山古时候称为盘龙山、四正山、无终山。盘龙山，因他盘薄蜿蜒，形无定向势如龙，故名。四正山，因它一峰突起，特立无以，蜂巢莲瓣，四面如一，故名。无终山，春秋时，盘山在无终子国范围之内，山因国名。盘山之名的得来，一为元朝道士姬志贞说，古有田盘先生自齐而来栖居:一为清诗僧智朴说，东汉末年，邑名士田畴曾在这里隐居，得名田盘山，意即田畴曾在这里盘桓居住。后称盘山。
据《盘山志》载，从魏武帝曹操开始，唐太宗、辽太宗、辽圣宗、金世宗以及清代的康熙、乾隆等历代帝王都曾游览过盘山，并在盘山大兴土木，开山建寺，留有300多处摩崖石刻。帝王将相，文人墨客，善男信女，进山逛景。参禅礼佛，络绎不绝。远在初唐时，唐太宗李世民东征凯旋途中到此游赏，就曾赞口不绝，吟诗“兹焉可游赏，何必襄城外”，高度赞美盘山的绚丽景色。到明清两代，这里建起寺庙72座、宝塔13座，行宫、楼台比比皆是，景况空前，成为香火极旺的佛家圣地。唐代时期兴佛教，盘山与山西五台山东西相呼，被称作“东五台”。清幽的自然风光和众多佛寺，引来了善男信女络绎不绝，众多的文人墨客等或来参禅礼佛，或来游山玩水，留下了无数诗赋墨宝、碑记题刻，以及传奇故事，为盘山平添了许多人文景观和无限情趣。清朝康熙皇帝进山9次，乾隆皇帝第一次巡游盘山时拍案称奇，情不自禁吟出“早知有盘山，何必下江南”！命人在山东部兴建规模浩瀚的行宫“静寄山庄”，盘山发展鼎盛至极，此后他又27次到此巡游。帝王既以此离宫处理朝政，又以此为避暑之胜地。清帝为观赏山庄景色，每年耗费巨资，选中国传统造园之手法，集南北园林艺术之精华，使静寄山庄成为宏伟壮观，秀丽华美的皇家园林。
但时至20世纪上半叶，由于战乱破坏、年久失修，建筑多不复存。抗日战争时期，盘山地区是冀东革命根据地之一。日军实行残酷的“三光”政策，盘山许多佛寺等毁于战火和敌人的破坏，但盘山晴岚迭翠的清秀风光依然令人钟情。解放后，盘山脚下建立了烈士陵园，供后人瞻仰凭吊。