才愿意发驾还京。外国人听说炀帝回去，都一齐来送行，一直送到蓟门才回去。
炀帝车驾返回，一路上还要游山玩水，不愿意走大路，偏要另辟蹊径。遇山就要翻山，遇岭便要过岭，众位官员苦苦劝阻，炀帝就是不听。走到榆林地方，有一条小路，叫做大斗拔谷。两边都是壁立的高山，中间最宽的地方不过一丈，而且崎岖险阻，舆辇都不能过去，如何容得下那行城行殿？炀帝只得骑着一匹马儿前行。可怜那些宫妃彩女，没了行殿，或着在前，或着在后，都乱纷纷和军士们混杂在一起行走。到晚上还没有走出谷口的宫女，只得和军士们在一处歇宿。已经是寒冬了，山谷中北风呼啸，军士们冻死了无数。高颍实在看不下去了，叹息一声，对贺若弼说道：“近来朝廷一点纲纪都没有了。”贺若弼说道：“这都是太奢侈的缘故。”二人在背后谈论，想不到有人报告了炀帝。炀帝大怒，怀恨在心。终于到了西京，文武百官都出城迎接，唯有杨素只在皇城门前候驾。炀帝当天非常疲倦，传旨免朝，车驾直接来到后宫。萧后接住，急忙安排酒宴给炀帝接风。
第二天炀帝一早起来上朝，百官朝贺以后，杨素出班奏道：“陛下塞外巡狩，辛苦！辛苦！。”炀帝说道：“爱卿看守朝廷也不容易。”杨素说道：“塞外的风景陛下已经看了，怎么样啊？”炀帝说道：“前面段文振笑话朕不会用兵，朕銮舆所至，外国都来朝贡，即使秦皇、汉武，也不过如此。用兵有什么难的！这些腐儒太可笑了，一说到用兵，就以为惊天动地。”杨素见炀帝满脸都是骄傲的神情，全不像以前那样知道畏敬了，很轻蔑地笑了一声，说道：“陛下不要想错了，外国归顺乃是先帝的余威，难道是陛下的功劳吗？”炀帝听见以后不觉满脸通红，恼羞成怒地说道：“朕为天子，谈不上功劳不功劳。但爱卿乃是先帝功臣，功劳又在哪里？”杨素笑一笑说道：“臣确实没有功劳。但陛下还是藩王的时候，为什么经常来请教呢？臣虽然对先帝没有功劳，但是不能说对陛下没有功劳。陛下为什么不仔细想想呢？”说完