宇文泰人称宇文黑獭，这黑獭不是粗口，也不是骂人的称呼，而是宇文泰的字。他是鲜卑人，但因为北魏从冯太后当权起就开始进行汉化改革，所以鲜卑男子也跟随汉人一样为自己改字，并且以字作为称呼。

宇文泰的先祖源出南匈奴，后融入鲜卑族中，号宇文部。当年六镇起义期间，宇文泰一家亦参加了起义队伍。

但在前往左人城途中，被北魏官军击败，父亲宇文肱及大哥宇文颢、二哥宇文连阵亡，宇文泰与其兄宇文洛生大难不死，加入了鲜于修礼军中。

鲜于修礼死后，宇文泰又加入葛荣军中，被任为将帅。葛荣失败后，尔朱荣畏惧宇文兄弟有异心，于是网罗其他罪名，诛杀了宇文洛生。

因为宇文泰慷慨陈述，才释去尔朱荣对他的戒心，才得以幸免于难。由于宇文泰与尔朱荣的部将贺拔岳有旧，贺拔岳亦是武川（今内蒙古武川县）军人，与宇文泰之父宇文肱关系甚密，因此，宇文泰被收编在贺拔岳部下。

永安三年（530年）春，尔朱荣以尔朱天光为主帅，贺拔岳和侯莫陈悦为副帅，率兵前往镇压关陇起义军。

宇文泰以步兵校尉的身份随贺拔岳入关，因镇压起义军有功累迁至征西将军、金紫光禄大夫，增邑三百户，加直阁将军、行原州事。

在镇压关陇起义的过程中，宇文泰趁机扩大自己的影响，对吏民施以恩惠，赢得了不少人的好感。是年九月，孝庄帝元子攸诛杀尔朱荣，但大权仍操在握有大军的尔朱氏手中。

532年，高欢攻灭尔朱氏，拥魏孝武帝元修即位，自总大政。他任命贺拔岳为关西大行台，贺拔岳任命宇文泰为行台左丞，领府司马，加散骑常侍。

当时高欢事无巨细，都委任于贺拔岳。自己则在朝中位居大丞相，秉掌大权。孝武帝元修密谋与贺拔岳相勾结，想牵制高欢。

当时为府司马的宇文泰自请出使晋阳（今山西太原），来观察高欢的为人。宇文泰到了晋阳之后，与高欢口答应对，敏捷雄辩，高欢欲留宇文泰为己用，宇文泰坚决推辞而返。

宇文泰回到长安，对贺拔岳分析了当时形势，他说：“高欢这个人决不甘于为臣下者，他之所以还没有篡夺皇位，是忌惮你们兄弟二人。”