老天爺很多時候都是公平的，他曾經把曹操拉回到了和劉備一樣的起，但也賜予了劉備和曹操一樣的考驗。
興平元年（194）在曹操討伐徐州之際，呂布突襲奪取了兗州差將曹操逼入絕境，兩年後同樣在劉備和袁術相持之際，呂布突襲了下邳，奪取了劉備的根據之地，也將劉備逼入了絕境。
但很可惜的是皇叔那時並沒有自己的荀彧和程昱，他本人也不是曹操，張飛也不是夏侯惇。
劉備在討伐袁術之時讓張飛留守下邳，但張飛很快就和陶謙的原部下曹豹以及丹陽兵鬧翻了。這很可能是由於以前曹豹和丹陽兵都是陶謙的親信，而現在換了劉備掌權，對於他們的影響很大，在劉備走後，張飛可能又處理不當，導致矛盾激化，使得曹豹和丹陽兵都有了反意，並且最終還採取了行動，邀請呂布並且與張飛在城內爆發了衝突。
《英雄志》上記載那時恰巧呂布已經被袁術所邀進軍下邳，劉備的中郎將丹楊人許耽派司馬章誑前來迎接呂布，並向呂布透露了張飛和曹豹相爭，張飛殺曹豹（《三國志》未記錄），下邳城內大亂以及丹楊兵準備迎接呂布的訊息，呂布得知之後加快進軍，於當日早晨到達下邳。
呂布到達下邳之後，丹陽兵立刻開啟城門將呂布接入，呂布坐在城門上，步兵騎兵一起放火，大破張飛的部隊，奪取了劉備軍的物資，還俘虜劉備的妻妾兒女及其部曲的家眷。
在得知呂布奪取下邳的訊息後，劉備的軍心遭到了很大的打擊，劉備一開始準備迴轉奪回下邳，但行軍到一半，軍隊就自行潰散了，不得已劉備收起餘軍，先東取廣陵，但因為軍心潰散慘敗給了袁術，劉備只好轉而駐紮到海西縣。
那時麋竺將妹妹嫁給劉備，又將兩千名下人及金銀貨帛資助劉備的軍隊，使面對危難的劉備重新振作起來。
【目前用下來，聽書聲音最全最好用的App，集成4大語音合成引擎，超100種音色，更是支持離線朗讀的換源神器，huanyuanapp.org 換源App】
由於劉備軍的家眷被呂布所抓，又和袁術結怨，劉備不得已向呂布求和請降，那時呂布也因為袁術沒有實現諾言繼續提供糧草，非常的惱火，於是就準備了車馬迎接劉備，歸還了劉備的妻子家眷，讓劉備擔任豫州刺史，派他駐守沛。
呂布則自稱為徐州牧，就這樣劉備的徐州被呂布所奪。
但劉備對於呂布而言仍然是一個重大的威脅，畢竟劉備是曾經的徐州之主，而呂布不過是趁主人不在家偷了主人房子的賊。
這下呂布暫時不找劉備的岔子了，但袁術依然沒有放過劉備。
袁術準備奪取徐州，但呂布強大，劉備弱，而且袁術也看不起劉備，於是袁術先從劉備下手，很快袁術就派大將紀靈帶領步騎共三萬多人馬征討劉備,劉備向呂布求援。
這時呂布手下將領:“將軍您一直想除掉劉備,今天正好借袁術之手幹掉他。”
呂布:“不行,袁術如果佔據了沛,就會聯合北面太山一帶的部隊,我們就會被袁術所包圍,我不能不去救劉備啊。”
於是呂布領步兵千人、騎兵二百,飛速趕往沛。紀靈等人聽呂布前來援救劉備,只好收兵,不敢輕舉妄動。呂布在離沛西南一里的地方紮下營寨,派衛士去請紀靈等將領,紀靈等人也請呂布一起飲酒作樂。
呂布對紀靈等人:“玄德,是我呂布的弟弟。如今他被諸位所圍,我特意趕來救他。我呂布生性不愛看別人互相爭鬥,只喜歡替別人解除紛爭。”
呂布命門候在營門中豎起一支戟,:“諸位看我射戟上的支,如一發射中,諸君當立即停止進攻,離開這裡,如射不中,那你們就留下與劉備決一死戰。”
他引弓向戟射出一箭,正好中了支。諸將大為震驚,誇讚:“將軍您真是有天神般的威力呀!”第二天,呂布又與諸將歡會宴飲,然後各自回兵，劉備之圍遂解。
但這並不代表呂布和劉備的關係真的好了。
劉備在沛駐紮下來之後，實力恢復的很快，作為原徐州之主，劉備手下很快就聚集了一萬多人的軍隊，這使得呂布十分的不安和厭惡，於是呂布親自率兵來討伐劉備，與其在沛交戰，劉備不敵，逃往許昌依附曹操。
劉備投靠曹操後，曹操集團內部對於如何對待劉備的看法不一。
程昱就對曹操勸道：“劉備有英雄之志，如果不趁早收拾掉他，未來他一定會成為我方的大患。”
但郭嘉不這麼看，他到：“的確如此。但曹公舉劍起義兵，為百姓除暴，推出誠信用以招攬英雄俊傑，恐怕仍未做到。現今劉備有英雄名聲，他在窮途末路時投靠我們而我們將他殺害，這是殺害賢士的惡名，那智者、將士都會自疑，再次想選擇誰作主人，那曹公要和誰平定天下？所以除掉一人之患，而危害到四海的聲望，安危的選擇，不可以不察覺！”（注1）
曹操是贊同郭嘉觀的，到：“如今正是收復天下英雄之時，殺一人而失天下人的信任，不能這麼做。”
於是他不僅不對劉備動手，反而重用劉備，想讓劉備對自己心服，任命劉備為豫州牧，劉備決定回到沛收集失散的士卒,曹操資助軍糧,增補兵馬,派他東進牽制呂布。
而歷史上陶謙、呂布、曹操均任命劉備做過豫州刺史或豫州牧，所以皇叔又被別人稱為“劉豫州”。
楊奉、韓暹投靠袁術之後又轉而投靠呂布，他們在徐州、揚州一帶抄略為寇，並在呂布授意下前往搶掠劉備軍的軍資，最終被劉備所敗。（注）
歷史上楊奉最終被劉備誘殺，韓暹也為杼秋屯帥張宣所殺。
建安三年（198）呂布派人去盟友張楊的河內郡買馬，但被劉備的士兵奪走。為了防止劉備的進一步做大，呂布於是派遣中郎將高順、北地太守張遼等人進攻劉備。
曹操也派夏侯惇去支援，被高順打敗，沛城最終被呂布軍攻破，皇叔的妻子兒女又被高順所擄並送交呂布，劉備勉強逃走。
後來曹操決定親自討伐呂布，劉備隨其一同去往徐州，這一次呂布和劉備、曹操的恩怨即將了結。
注1：《傅子》和《魏書》在此記載衝突，而《魏書》是曹魏的官方歷史材料，這裡也沒有立場的問題，所以我個人以《魏書》為主，《傅子》為輔。
注：楊奉、韓暹與劉備交手的時間在《三國志》和《後漢書》上略有衝突，但均為劉備所敗。