蒙山见于最早的文字记载是《书经》和《诗经》，《书·禹贡》载“淮沂其乂，蒙羽其艺”，意思是说淮沂二水经过大禹的治理，蒙山和羽山地区已能种植作物了。但据考据家考证，《书经》内容多系后人伪托，《禹贡》一篇也是后人追述之作，成书时间不能肯定。《诗经·鲁颂·閟宫》有“奄有龟蒙，遂荒大东”的诗句。据袁梅《诗经译注引言》，《诗》的创作年代基本在西周初叶至春秋中叶，《閟宫》一诗是歌颂鲁僖公(公元前659年～前627年)政绩的，其创作时间当在公元前七世纪或者更晚一些。由此知道，蒙山之名见于《诗经》迄今至少已有2600多年了。

东蒙一名，见于《论语·季氏》孔子和学生冉有的一段对话：“夫颛臾，昔者先王以为东蒙主……”《论语·邢疏》：“蒙山在东，故曰东蒙”。蒙山在东的“东”字，当指鲁国国境的东部，鲁国境内只有一个蒙山，且颛臾城就在蒙山脚下，毫无疑义，孔子说的东蒙，就是《诗经》上说的“蒙”，在“蒙”字上加一“东”字，意在指明其方位，因此说“东蒙”不过是当时的俗称而已。

至于“东山”的称呼。见诸《孟子·尽心》“孔子登东山而小鲁，登泰山而小天下”的记载。孟子说的这个东山指的是哪个山呢?据《孟子·孙奭疏》载：“孟子言孔子登鲁国之东山而览者大，故小其鲁国，以鲁国莫大于东山也。”这里孙奭虽未明指“东山”即蒙山，但已圈定是鲁国之东山，非他国之东山，进而推之，鲁国东境有龟山和蒙山，但龟山高度面积与蒙山相比，犹如小巫见大巫，联系孔子说的“东蒙”可以断定孟子说的“东山”，即今临沂市境内之蒙山，“东山”只是蒙山当时的俗称而已。这犹如过去的城门，都有一个雅名。可是人们在交谈中，往往不呼其名，而以“东门”、“西门”称之，听者不会误解。蒙山西麓的人们，还经常以“东山”代称蒙山，此种情况恐怕是古今相通的。杨伯峻《孟子译注》(1960年中华书局版)注释：“东出――当即蒙山，在今山东平邑县北。”这是很有见地的。平邑县境内有传为孔子登东山途中住过宿的“子宿村”，纪念孔子与老莱子门徒相迂的“迂圣桥”，以及龟蒙顶上“孔子小鲁处”、“圣憩石”等遗迹，可谓事出有据，不为无因。

蒙山旧称有七十二峰，三十六洞之胜景。有名的山头就有1076座，他们的名号有的俗，有的雅;有的载入地方志书，有的仅流传于群众口碑。就其大者，俗分在东者称东蒙，中间者称云蒙，在西者称龟蒙。清《一统志》：“蒙山高峰数处，云蒙，龟蒙，东蒙，其实一山，未尝中断。”由此得知，俗分的“龟蒙”、“东蒙”等，只是蒙山山脉某一山峰的称呼。