杨国忠还利用职权大肆搜括聚敛财物，“中外饷遗辐揍，积缣至三千万匹”。供他挥霍浪费。
杨国忠曾对人说：“吾本寒家，一旦缘椒房至此，未知税驾之所，然念终不能致令名，不若且极乐耳!”因为杨国忠明白，自己并没有什么才能，完全是靠着贵妃的关系，也不可能有什么好名声，倒不如尽情享乐了。杨国忠这番心里话，惟妙惟肖地勾画了他那副外戚新贵暴发户的丑恶嘴脸。
也正如杨国忠自己所预料的那样，在他执政以后很不得人心，遭到了朝野正派的官员和士大夫的鄙视和反对。还在他执政的第一年，有人劝陕郡进士张彖去拜谒杨国忠，说：“见之，富贵立可图。”张彖回答道：“君辈倚杨右相如泰山。吾以为冰山耳!若皎日既出，君辈得无失所恃乎!”于是，头脑清醒的张彖宁愿不去追求高官，跑到嵩山当隐士去了。
诗人杜甫也写过许多诗，讽刺杨国忠及杨氏诸姐妹。如《丽人行》写到杨氏兄妹车骑路过大街时，说：“炙手可热势绝伦，慎莫近前丞相嗔。”就刻画了杨国忠在百姓面前横行霸道的嘴脸，同时也宣泄了百姓的不满情绪。诗中还有一句“杨花雪落覆白萍，青鸟飞去衔红巾”,则是影射杨国忠与虢国夫人之间的暧昧关系的。