让他当了一次全京城的笑柄，第二次虽然全是谣言，但架不住别人信呀。

那段时候民间夫妻吵架，吵红了眼，都能听到妻子骂老公“我要让你做第二个顾廷烨！”还有人私下里谣传，宁远侯那方面不太行，两个老婆都红杏出墙，恐怕那四个孩子都不一定是他亲生的。更有甚者，自作聪明，不惜花重金购入东北上等的虎鞭、鹿鞭等行贿，被顾廷烨连人带“礼品”一起扔了出去。