魏徵年轻时很穷,但他热爱阅读,忽略了他的家族生意。他曾经出家,当过道士。隋大业末,魏徵在隋朝舞阳县(今河北大名东北)任成元宝大臣。袁宝举县投降李密后,被李密任命为元帅府文献参军,专事文书档案。武德元年(公元618年),石米失败后,魏徵入关,随他降唐,但很长一段时间都没用。次年,魏徵邀其安抚河北,上谕后,他带着驿站到了溧阳(今河南浚县),劝说李密的溧阳守将徐士奇投降唐朝。不久,窦建德攻占黎巴嫩。