杨广命令就地伐木取薪，但是去过张掖的人都知道，张掖所在一片戈壁，哪有这么多树木可供砍伐的。忍耐不住严寒的人群一下子就乱了套，将帐篷、被褥等一切可燃之物均点着取暖，奈何寒夜漫长，一晚上下去，居然冻死了三四万人，许多嫔妃纱衣轻衫的，哪怕将宫女的衣服扒掉也无法抵御严寒，冻死者十之八九。

    翌日，杨广命令大军开拔，全速赶往张掖，又派人到张掖，命令守军为大军准备御寒衣物。一百多里走下来，人员又损失五六万人，将近十一万人的队伍，到了张掖只剩下了一万多人。

    杨广大怒，将钦天监所有官员全部五马分尸，又命令西域各国必须进贡大量金银财宝和美女，以慰籍活下来的大军。

    西域各国接到命令，敢怒不敢言，因为大军受损杨广下令严密封锁消息，对外仍号称十万。迫于大隋军威，西域各国纷纷携带美女、宝物到张掖面圣。

    看到自己一声令下，万国臣服，杨广失落的心得到了慰藉，于是大摆一个月宴席招待了各国国王和各路商人。

    同年十一月，杨广带领剩余的人马返回洛阳，但是大军被冻死之事还是被传了出来，一时间天下大哗。