承之不同，寺院分为青庙和黄庙。青庙亦称和尚庙，僧侣大都为汉族，一般穿青灰色僧衣，称青衣僧。五台山大部分寺院属于青庙。青庙中又有十方庙和子孙庙之分。子孙庙按师徒关系实行家传制，外寺僧人不得在本寺担任职事。历史上五台山青庙多属子孙庙。十方庙可以接待四方来僧，在寺僧人亦可十方云游，组织管理实行选贤制。根据中国佛教协会颁布的《汉传佛教寺院管理办法》，原来的子孙庙均已不实行家传制而改行选贤制，子孙庙和十方庙已无明显的分别。
黄庙亦称喇嘛庙，属于藏传佛教。五台山藏传佛教均属宗喀巴大师创立的格鲁派，信教喇嘛均穿黄衣，戴黄帽，称黄衣僧。明永乐年间，五台山始有青庙改成黄庙。清康熙时，敕令将罗睺寺、寿宁寺、三泉寺、玉花池、七佛寺、金刚窟、善财洞、普庵寺、台麓寺、涌泉寺等10寺改为黄庙。于是，青衣僧改为黄衣僧，汉喇嘛由此产生。五台山有黄庙8处，即菩萨顶、罗睺寺、广仁寺、万佛阁、镇海寺、广化寺、观音洞、上善财洞。
五台山还有古老的传说，相传五台山原名五峰山，气候异常恶劣，冬天滴水成冰，春天飞沙走石，夏天酷热难当，农民们根本无法到田里种庄稼。文殊菩萨碰巧到这里传教，看到人们遭受苦难，决定改变这里的气候。
文殊菩萨了解到东海龙王那里有一块神石叫“歇龙石”，可以把干燥的气候变得湿润，于是变成一个化缘的和尚，到龙王那里借歇龙石。
文殊菩萨来到东海，见龙宫外面果然有一块巨石。还没有走到跟前，已经感觉到一股凉气迎面扑来。文殊菩萨见到龙王，说明来意。龙王很抱歉地说：“大法师借什么都行，唯独这块歇龙石不能借。因为它是花了几百年工夫从海底打捞上来的，清凉异常，龙子们每天工作回来，汗水淋漓，燥热难耐，便在上面歇息养神，你若借去，龙子们就没有歇息的地方了。”文殊菩萨反复说明自己是五峰山的和尚，是为了造福于人间特地来求援的。
龙王心里不愿意把神石借人，又不便直接