后来，公孙瓒和袁术联手，一次次攻打袁绍，刘虞多次劝他：“袁术有称帝的野心，和他联手，迟早会引火烧身。袁绍虽然也有私心，但他毕竟是讨伐董卓的盟主，和他保持和睦，对幽州有好处。”
公孙瓒根本不听，他觉得刘虞是老糊涂了：“袁绍就是个胆小鬼，上次我和他打仗，他吓得躲在营寨里不敢出来。只有我公孙瓒，才能统一北方，才能彻底解决游牧民族的问题！”
他甚至觉得，刘虞的“怀柔政策”就是个笑话——如果没有他白马义从把鲜卑人打怕，那些胡人怎么可能对刘虞感恩戴德？刘虞不过是捡了他的便宜！
刘虞没办法，只好断了公孙瓒的粮草供应，希望他能冷静下来，好好想想。
可这一下，彻底激怒了公孙瓒。
他开始明目张胆地和刘虞作对：
——刘虞派使者去鲜卑，和他们商量互市的事，公孙瓒就派人在半路上劫杀使者；
——刘虞下令让百姓们安心种田，公孙瓒就纵容士兵抢劫百姓的粮食；
——刘虞任命的官员，只要公孙瓒看不顺眼，就会被他赶跑，换成自己的人——这些人里，有卖菜的，有杀猪的，甚至有街头卖艺的，就是没有士大夫贵族。
最让士大夫们受不了的是，公孙瓒竟然任命刘备为平原县令。
刘备是谁？不过是个“织席贩履之徒”，连贵族都算不上，怎么能当县令？
可公孙瓒却觉得，刘备有本事，比那些只会空谈的贵族强多了——他就是要打破士大夫的垄断，让所有人都知道，出身不重要，本事才重要。
刘虞看着公孙瓒一步步把幽州搅乱，心里像刀割一样疼。
他知道公孙瓒的功劳，也知道他的委屈，可他更知道，再这样下去，幽州百姓刚过上的好日子，就会毁于一旦。
他找公孙瓒谈话，公孙瓒却避而不见，还对手下说：“那个伪君子，就是想靠着我出名，没有我，他早就被胡人杀了！”
刘虞彻底失望了。
他看着窗外的大雪，想起了幽州百姓的笑脸，想起了那些因为战争失去亲人的孩子，咬了咬牙，做出了一个他这辈子最艰难的决定——用武力，解决公孙瓒。
初平四年冬，刘虞得到消息，公孙瓒的主力部队正在攻打袁绍，蓟城只有一千多士兵留守。
他立刻召集手下，说：“公孙瓒不听劝告，勾结袁术，扰乱幽州，再这样下去，幽州就完了。我决定，带兵讨伐他！”
手下的从事程绪一听，赶紧劝他：“大人，我们师出无名啊！公孙瓒虽然有错，但他毕竟是朝廷的中郎将，您这样带兵打他，会被天下人误会的。不如我们先展示武力，逼他认错，实在不行，再出兵也不晚。”
刘虞皱了皱眉，他觉得程绪是在帮公孙瓒说话，厉声说：“你是不是私通公孙瓒？来人，把程绪拉下去，斩了！”
士兵们把程绪拖了下去，程绪一边走一边喊：“大人，您会后悔的！”
刘虞没有理会他，他现在满脑子都是“解决公孙瓒”，根本听不进任何劝告。
他不知道，他的另一个从事公孙纪，和公孙瓒是同宗兄弟，早就把他的计划偷偷告诉了公孙瓒。
公孙瓒接到消息时，正在和袁绍打仗，他赶紧率领一小部分骑兵，连夜赶回蓟城。
等他回到蓟城时，刘虞的十万大军已经把城池围得水泄不通。
“将军，我们怎么办？城里只有一千人，根本打不过他们！”手下的将领都慌了神。
身经百战的公孙瓒冷静地登上城楼，仔细观察着城外的军队，突然笑了：
“你们看，刘虞的军队虽然人多，但一点纪律都没有，营寨扎得乱七八糟，士兵们要么在聊天，要么在睡觉，根本不像要打仗的样子。”
他顿了顿，又说：“而且我了解刘虞，他最爱惜百姓，肯定会下令不准放火烧城，不准伤害无辜，只许活捉我。这就是我们的机会！”
“将军，您想怎么做？”
“放火！”公孙瓒指着城内的房屋，“他不准纵火，我们就自己放！大火一烧，刘虞肯定会慌，会召集将领开会，到时候我们趁机偷袭，一定能打败他！”
手下的人都惊呆了——哪有自己烧自己城池的？
可公孙瓒已经下定了决心，他亲自点燃了身边的一座房子，北风一吹，火势立刻蔓延开来，很快就把整个蓟城笼罩在浓烟里。
城楼下的刘虞，看到蓟城着火，果然慌了神。
他骑着马，在阵前大喊：“是谁放的火？快下令灭火！不准伤害百姓！谁敢伤害一个百姓，我饶不了他！”
他的将领们面面相觑，谁也不知道火是从哪里来的，只好乱糟糟地指挥士兵去救火。
整个军队瞬间乱作一团，士兵们你推我搡，有的去拿水桶，有的去搬梯子，有的甚至趁机逃跑。
就在这时，蓟城的城门突然打开了。
公孙瓒带着一百多个白马义从，像一道白色的闪电，冲了出来。
他们都骑着白马，手里拿着长枪，枪尖在火光的映照下，闪着冰冷的寒光。
“是公孙瓒！”
刘虞的士兵们看到白马，吓得魂飞魄散，纷纷后退——他们早就听说过白马义从的威名，知道这些人都是杀人不眨眼的狠角色。
刘虞也慌了，他本来就不会带兵，看到公孙瓒冲过来，脑子里一片空白，只知道喊：“拦住他！快拦住他！”
可他的军队已经乱了，根本没人听他的命令。
公孙瓒的骑兵像一把锋利的尖刀，硬生生冲进了刘虞的中军。
他手里的长枪一挥，就挑飞了一个将领，然后直奔刘虞而去。
“刘虞！你这个伪君子！”公孙瓒大喊，“没有我公孙瓒，你能有今天的名声？你用仁德收买人心，却忘了是谁在保护你！”
刘虞吓得从马背上摔了下来，幸好身边的侍卫把他扶起来，护着他向北逃去。