政府军击杀，宇文泰又在葛荣领导的起义军中任将帅
在后来权臣尔朱荣在滏口（今河北磁县西北）击败正在向洛阳进军的葛荣，宇文泰光荣被俘，跟着家人一起被迁到晋阳，随后就成了尔朱氏的部将，官至镇远将军，步兵校尉
永安二年（公元529年），控制北魏政权的尔朱荣令其侄尔朱天光率一千人马进攻关陇起义军，后又增加到三千人，以贺拔胜弟贺拔岳和侯莫陈悦分别为左、右副帅，宇文泰作为贺拔岳部将行动
这三千多士兵基本上都是六镇人，而且以宇文泰出身的武川镇人为多，宇文泰后来控制住西魏政权，与们的支持是分不开，们在日后也成为西魏北周政权的核心，影响及于隋代及唐初政治
在后来获得六镇大多数鲜卑人支持的高欢与尔朱氏决裂后，贺拔岳、侯莫陈悦也带领这些武川镇军人与尔朱氏决裂占据了关中地区
不过这时夏州（治今内蒙古乌审旗南）刺史斛拔弥俄突、灵州（治今宁夏灵武）刺史曹泥都据地自保，河西牧子首领纥豆陵伊利、万俟受洛干亦自守其地，关陇地区在实际上仍处于分崩离析状态
高欢击败尔朱氏，控制了洛阳的北魏政权后，宇文泰向老大贺拔岳提出了决定武川军团命运的策略
认为高欢不可能久为魏臣，劝贺拔岳率军至陇上，据守要地，迫使灵、夏二州及河西牧子归附，以充实军队“西辑氐、羌，北抚沙塞，还军长安，匡辅魏室，此桓文之举也”
这时正好北魏孝武帝元修与高欢的矛盾加剧，也密令贺拔岳反击高欢，任命为大都督，总关陇二十州军事
这下贺拔岳的野心也被挑起来了，既然高欢能够掌握大权，为什么就不行呢？于是接受了宇文泰“因地势，总英雄以匡社稷”的建议，在贺拔岳的大军威慑下，原州、灵州、陇右各州刺史都率部到平凉，接受贺拔岳指挥，宇文泰被任命为夏州刺史，代斛拔弥俄突镇抚其地
贺拔岳做的事情固然很是热血，可是当时高欢手里的实力远远超过关陇地区的军事实力，虽然不说是关陇地区的十倍兵力，也足足有们的七八倍以上，因此还是有很多将领反对对抗高欢
结果在永熙三年（公元534年）正月，贺拔岳被老朋友，已经暗中被高欢收买的侯莫陈悦刺死
关键时刻，宇文泰奔赴平凉，临危之际为诸将所推，代贺拔岳总帅众军，并且顺利击败侯莫陈悦，分置刺史、太守，将关陇掌握在自己手中；
然后又接受了孝武帝兼尚书仆射、关西大行台的任命，遍发檄文，罪责高欢，公开与决裂
可是宇文泰掌握西魏大权并不是一帆风顺的，这年底，宇文泰因与孝武帝元修发生冲突而杀之，改立北魏孝文帝孙元宝矩（公元507-551年）为魏帝，