恰逢此时，佑国军节度使王重师无罪被杀，这一事件让刘知俊感到了深深的恐惧和不安。他担心自己也会像王重师一样遭到太祖的猜忌和打压，最终落得个身败名裂的下场。于是，他决定占据同州反叛，以保全自己的性命和地位。
《鉴戒录》中记载了这样一个故事：当刘知俊镇守同州时，因修筑营墙而挖到了一个重物。这个重物重达八十余斤，形状像油囊一般。刘知俊好奇地召集了宾客幕僚和将校来询问这个重物的来历和用途。其中一个人名叫刘源，他解释说：“这是冤气凝结而成的物体，自古以来监狱之地有时会有这种东西出现。从前王充占据洛阳时，修建河南府监狱时也挖到过这种东西。我听说酒能忘忧，用美酒祭奠它或许可以消解冤气。然而这种东西的出现也不是吉祥的征兆啊！”
刘知俊听了刘源的话后心中更加不安起来。他担心这个重物会给自己带来不祥之兆，更担心自己的反叛行为会遭到天谴和报应。然而，他已经没有了退路，只能硬着头皮继续走下去。于是，他命人准备酒食祭奠这个重物，然后重新将它掩埋起来。
不久之后就发生了叛城背主的事情。刘知俊向李茂贞投降了，并分兵袭击了雍州、华州等地。雍州节度使刘扞被擒获后送往凤翔被杀，华州的蔡敬思也受伤后逃脱了。这一事件震惊了后梁朝廷和军队，也让太祖朱温对刘知俊的猜忌和打压达到了顶点。
太祖听说刘知俊反叛的消息后愤怒异常，他派遣近臣去劝说刘知俊：“朕待你非常优厚，你为何要背叛我呢？”刘知俊回答说：“臣并非背德之人，只是害怕死亡罢了！王重师没有辜负陛下却遭致灭族之祸，臣又怎能不担心自己的下场呢？”
太祖又派使者对刘知俊说：“朕没想到你会这样做。之前王重师获罪是因为刘扞说他暗中勾结邠州、凤翔，终究不会为国家所用。我现在虽然知道这是冤枉的但后悔已来不及了。导致你如此行事我心里很遗憾，这都是刘扞误我的事啊！刘扞一死固然还不能抵消他的罪责。”然而，刘知俊并没有回应太祖的劝说和解释，他已经决心与后梁决裂，走向自己的命运之路。
于是，刘知俊分兵把守潼关，以抵御后梁军队的进攻。太祖命令刘鄩率兵进讨潼关，双方展开了激烈的战斗。在这场战斗中，刘知俊的弟弟刘知浣也身陷其中。他原本是后梁的亲卫指挥使，但听说哥哥反叛后便从洛阳逃到潼关。然而，他最终还是被刘鄩擒获并杀害了。
不久之后，朝廷大军相继到来，刘知俊知道自己已经无法抵挡后梁的进攻了。于是，他带着全族投奔了凤翔的李茂贞。李茂贞对刘知俊的到来表示了热烈的欢迎，并伪任他为检校太尉、兼中书令。然而，由于李茂贞的领土不广，没有藩镇可以安置刘知俊，只能给予他丰厚的俸禄而已。
尽管如此，刘知俊并没有因此而感到满足和安逸。他深知自己的处境仍然十分危险，必须时刻保持警惕和战斗精神。于是，他向李茂贞请战，希望能够通过战斗来证明自己的价值和忠诚。
李茂贞欣然同意了刘知俊的请求，并命令他率兵围攻灵武。刘知俊率领着军队浩浩荡荡地出发了，他们一路披荆斩棘、所向披靡，很快就抵达了灵武城下。然而，灵武节度使韩逊并不是一个容易对付的对手。他率领着守军顽强地抵抗着刘知俊的进攻，双方展开了激烈的战斗。
在这场战斗中，刘知俊展现出了自己的军事才能和英勇的战斗精神。他率领着军队一次次地冲锋陷阵，与守军展开了殊死搏斗。然而，由于守军的顽强抵抗和灵武城的坚固防御，刘知俊始终无法攻破城门、占领城池。
就在双方相持不下的时候，后梁军队派遣了援军前来支援灵武。这支援军由康怀英率领，他们率领着数万精锐士兵浩浩荡荡地赶来了。刘知俊得知消息后心中一紧，他知道自己必须尽快击败守军、占领城池，否则就会陷入前后夹击的困境。
于是，刘知俊与李彦琦共同制定了策略，决定在长城岭迎战后梁军队。他们率领着军队埋伏在长城岭附近的山林中，等待着后梁军队的到来。当后梁军队进入伏击圈后，刘知俊和李彦琦立即率领着军队发起了猛烈的攻击。他们利用地形优势和伏击战术，成功地击败了后梁军队，并俘虏了大量的士兵和物资。
这一战役的胜利让刘知俊和李茂贞都感到十分高兴。李茂贞为了表彰刘知俊的功绩，任命他为泾州节度使，并让他继续率领着军队攻打兴元、进围西县等地。然而，由于蜀军的救援和天气的影响，刘知俊最终未能攻下西县，只能撤退回来。