劉虞，字伯安。東海郯（今山東郯城）人。漢光武帝劉秀之子東海恭王劉強之後，劉虞的祖父劉嘉曾任光祿勳，父親劉舒曾任丹陽太守。
劉虞雖然是漢室皇親，但當時世道衰亂，又與君主疏遠，所以一開始他本人也只是擔任曹吏，但劉虞能用心做好自己的工作，所以得以獲升成為郡吏，最終被舉為孝廉當上了郎中，後因累積政績遷為幽州刺史。
據《英雄記》記載，劉虞以前在擔任博平令期間，以公正平和的方式管理地方，境內的百姓因此都高尚純樸，境內不僅沒有盜賊，甚至都不會產生災害。當時鄰近縣蝗蟲為害，到博平界，居然飛過不入。
而劉虞在擔任幽州刺史期間，清靜儉約，以禮義教化百姓。百姓與蠻夷被他的仁德所感動，鮮卑、烏桓、夫餘、穢貊等部族都按時朝貢，不敢騷擾邊境，他也因此受到了百姓的歌頌。
延熹九年（166），南宮發生火災，在張讓、趙忠等人的游下靈帝要求收田畝稅十錢，以修宮室，後來甚至只要州郡的官吏升官補缺，都要求資助修治宮室的錢，有的一千萬，有的二千萬，富有的人開始動用自己的私財，有的人則搜刮老百姓的錢以備用，貧窮而清廉的人，無以充調，有的甚至自殺。而靈帝因為劉虞清貧，特別沒有讓他出錢。
後來劉虞因為公事被免去了幽州刺史一職，轉為甘陵相，在此期間劉虞因病回家。
劉虞回到老家之後，並沒有因為曾居高位而大擺臉譜，反而經常自降身份，與當地百姓一同歡慶節日，一同救助他人，什麼事情都和大家在一起，從來不顯示自己的特殊身份，因此鄉里都非常推崇他。
當時鄉里有所申訴，甚至都不去見官，而去找劉虞評判。劉虞以道理和情感為他們分析判斷，大家都是十分認可，大大都聽從劉虞的，沒有人為此感到遺憾和不公正。
【目前用下來，聽書聲音最全最好用的App，集成4大語音合成引擎，超100種音色，更是支持離線朗讀的換源神器，huanyuanapp.org 換源App】
當時有一家的牛走失了，因為其骨體毛色和劉虞的牛相似，他就去問劉虞要，劉虞便把自己的牛給了他。後來自家的牛失而復得，牛主人更是親自來向劉虞道歉。
後來甘陵再次發生動亂，當地的官吏和百姓都因此十分懷念劉虞，劉虞因此被再一次任命為甘陵相，甘陵的情況隨即便大為好轉。
劉虞後來因功得以拜為尚書令、光祿勳，而且他還是皇親，禮儀非凡，劉虞最終成為了宗正，負責管理天下的皇親國戚。
時間到了中平年間（184－189），車騎將軍張溫率軍討伐涼州賊寇韓遂等人，徵調幽州烏桓三千騎兵，但卻因軍糧供應不上，使得烏桓騎兵都逃回了本國。一開始前中山相張純自薦為將，但被張溫所拒絕，張溫反而以公孫瓚為將，於是張純深恨之。
張純看到烏桓騎兵紛紛逃走，就對和他同樣沒有被張溫重用的前太山太守張舉私下到：“如今烏桓已經背叛，都想作亂。涼州賊人起事，朝廷不能禁止。又有洛陽人的妻子生下的孩子有兩個頭，這是漢朝氣數已盡，天下有兩主的徵兆啊。你若和我一起率烏桓的部眾來起兵，不定可以成就大事業。”
張舉因不獲張溫重用而心生不憤，就聽從了張純的建議。於是兩人聯合烏桓的首領丘力居，雙方結盟背叛了朝廷，張舉有武裝九千人。
於是他們開始攻打薊地，焚燒城郭，擄掠百姓，殺護烏桓校尉箕稠、右北平太守劉政、遼東太守陽終等人，部眾達到十餘萬，駐紮在肥如。張舉稱“天子”，張純稱“彌天將軍安定王”，向各州郡傳送文書，張舉要取代漢朝，讓天子退位，命公卿來迎接。張純又派烏桓峭王等人步騎兵五萬，進入青、冀二州，攻破清河、平原，殺害官吏百姓。
朝廷則派遣中郎將孟益率領騎都尉公孫瓚討伐張純等人，雙方交戰良久，互有勝負，但公孫瓚等人最終還是無力阻止叛軍和蠻族進犯青、冀、幽、徐四州。
朝廷因為劉虞素來有威信，對北方又有恩德，於是在中平四年（188），靈帝任命劉虞為幽州牧，掌控地方大權，負責鎮壓叛亂。
劉虞到達薊城後，不但沒有擴充軍力，反而精簡了部隊。他在上任伊始，就派使者去丘力居和烏桓峭王那裡，告訴他們朝廷將寬大處理，可以免除他們犯下的罪責，並且曉之以利害，責成他們交出張純的首級。丘力居等人聽劉虞回來了，十分高興，各派使者去見劉虞，並將部隊撤回了各自的領地，公孫瓚害怕劉虞功高過自己，居然偷偷派人殺死丘力居的使者。胡人得知這一訊息後，依然沒有改變主意，而是派人改道去見劉虞。
在面見了胡人使者之後，劉虞撤回了各路人馬，只留公孫瓚帶領步、騎近萬人，駐守右北平。同時劉虞以幽州牧的名義下令懸賞通緝張舉、張純二人。二人逃到塞外，其餘的也都投降或逃跑了。當時張純丟下妻兒老，隻身逃到鮮卑，被他的門客王政所殺，將首級獻給了劉虞，王政因此被封為列侯，張舉則不知所蹤。
就這樣在劉虞的威名之下，未動一兵一卒，丘力居和烏桓峭王等外族就悉數投降，張舉消失，張純被部下所殺，北方之亂就此被平息。漢靈帝因此派使者升劉虞為太尉，封容丘侯（一襄賁侯）。
後來董卓控制了朝政，又遷升劉虞為大司馬，公孫瓚為奮武將軍，封為薊侯。
關東諸侯聯合討伐董卓之際，由於幽州地處偏僻，所以未能參與，董卓後來把獻帝劫持到了長安，然後任命劉虞接替袁傀為太傅，但因為路途遙遠，道路堵塞，命令居然最終沒能成功的送到劉虞面前。
在三國歷史前期，大司馬劉虞是那個時代裡極個別聲望威名還在出身於四世三公的老袁家，關東聯軍盟主袁紹之上的人物，甚至就連袁紹本人都對其十分的信服，願意輔助於左右。
可惜的是劉虞並不是光武帝劉秀。