大业十一年（615年），李渊李世民父子在太原起兵反隋，史称“太原起兵（晋阳起兵）”。作为大唐的起始，多位凌烟阁功臣都参加了“太原起兵”。鲜为人知的是，凌烟阁第一功臣、赵国公、长孙皇后的哥哥、唐太宗的大舅子长孙无忌却没有参加“太原起兵”。这是为什么呢？

长孙无忌表面上出身高贵，长孙氏本是北魏拓跋氏的分支，长孙无忌的父亲长孙晟则是隋朝的大功臣。然而长孙无忌却有一个与家族背景不匹配的悲惨童年。大业五年（609年）长孙晟去世后，长孙无忌和母亲高氏、妹妹长孙皇后一起被同父异母的哥哥长孙安业赶出家门。

长孙无忌被赶出家门时都不到十岁，长孙安业就是想把继母及其所生的弟弟、妹妹饿死。幸亏高氏的哥哥高士廉收留了妹妹一家，长孙无忌才没有被饿死。但高士廉当时只是个从九品的小官，自己也上有老下有小。长孙无忌在舅舅家只能说是能吃上饭，生活还是很贫苦的。

大业九年（613年），长孙皇后与李世民成婚，长孙无忌这才摆脱了贫苦的生活。但由于早年的贫苦生活，长孙无忌此时已经成为关陇集团的边缘人。除了舅舅高士廉和妹夫李世民之外，长孙无忌在官场上没有其他人脉了。倒霉的是，舅舅和妹夫在短时间内也指望不上了。

就在长孙皇后与李世民成婚的当年，李世民的母亲窦氏去世，高士廉则被隋炀帝贬到岭南当官。舅舅贬官，妹夫守孝，长孙无忌暂时失去了仅存的官场人脉。长孙无忌虽然一直与李世民保持联系，但他在隋朝一直没有出仕，直到隋末大起义的爆发和反隋军四起都是如此。

大业十一年（615年），隋炀帝任命李渊为山西河东慰抚大使（后升任为太原留守）。因为隋朝的法律规定地方官携带部分家属上任，所以李渊只带了李世民去了太原。李渊尚且如此，李世民自然不能带自己的大舅子去太原了。因此长孙无忌留在了大兴城（唐长安城）。

正因为留在了大兴城，所以长孙无忌没能参加“太原起兵”，也没有参加李唐入主关中的战争。长孙无忌虽然是唐太宗的大舅子兼发小，但他却却不是李唐集团最早的成员，正式加入李唐集团的时间甚至比武则天的父亲武士彟还要晚。