隋朝初年，北方突厥的势力强盛，与隋朝相对抗。开皇二年（），隋军挫败入掠河西以至弘化、上郡、延安（今陕西北部）的突厥军。突厥汗国的内部矛盾随之激化，三年，突厥分裂为东、西两汗国。五年，东突厥沙钵略可汗归附隋朝，经隋朝同意，率部内迁白道川（今内蒙古呼和浩特西北），北方获得安定。隋朝的力量于是转向江南。

八年二月，隋文帝下诏伐陈。十一月，合九十总管之兵五十一万八千人，以晋王杨广为统帅，沿长江中、下游分兵八路，大举南进。次年正月，隋大将贺若弼自广陵渡江，韩擒虎自采石渡江，东西两路直指建康。贺若弼激战于钟山，打败了前来迎战的陈军韩擒虎因陈将领任忠投降，得以先入宫城，俘后主陈叔宝。长江中下游的陈军随即或降或破岭南方面，在高凉（今广东阳江西）太守冯宝妻冼夫人（少数族人）的协助下也迅即安定。这场统一战争从发兵到战事结束，不过四个月。

隋朝平陈之后，得州三十，郡一百，县四百，籍上户数共五十万，人口二百万。以后，隋又迁陈朝皇室和百官家属入关中。江南士族高门从此更加衰落。

陈亡之后，江南士族高门虽大都北迁，但梁陈时正在扩大势力的地方豪强以及所谓“溪洞豪帅”却仍然保有实力。隋朝派到江南的官吏都是北方人，不尊重地方豪强的特权。豪强们认为统一损害了他们的利益。开皇十年冬，遍及陈朝旧境的反隋暴动爆发。当时谣传隋朝要把所有江南人全部迁入关中，豪强们因此得以纠集民众，大股数万人，小股数千人。隋朝派遣杨素为行军总管，领兵镇压。统一是大势所趋，分裂割据不可能真正获得江南人民的支持豪强们各踞一方，力量也分散。隋军将其各个击破，大约次年即告平定。士族高门的北迁和这次镇压，沉重打击了江南的割据势力。

西晋末年以来，南北长期分裂的主要原因是尖锐的民族矛盾。北朝后期，鲜卑贵族的门阀化，尤其是各族人民共同的生产斗争和阶级斗争，促进了民族大融合汉族杨氏代周以后，象征民族矛盾的鲜卑政权亦告消亡，南北统一的条件已经成熟。当时，隋的经济、政治、军事力量都比陈强。于是，结束近三百年分裂状态的历史任务便由隋来完成了。

完成和巩固统一的改革在文帝统治时期和炀帝统治的前期，隋朝先后进行了一系列有利于完成和巩固统一、强化中央集权的改革。

改革行政制度开皇元年，文帝初即位就废除了西魏、北周时期仿照“周礼”制定的中央官制，即所谓“六官制”。又综合参酌魏晋以来的变化，基本形成以尚书、内史（即中书，避杨忠讳改）、门下三省为行政中枢的制度。这一制度后来为唐代继承和发展。魏晋以来处于发展中的封建官僚机构，在隋代形成了完整严密的体系。

南北朝时期由于侨立州郡和其他原因，州郡设置多而且乱：或地不满百里设置数县，或两郡共管一县，有的郡则没有属县。州、郡、县名重复出现，混淆不清。开皇三年，文帝下诏废罢境内五百余郡，改州、郡、县三级为州、县两级。州置刺史，废除过去例加的将军号以及军府、州府两套僚佐的制度，将州府和军府合一。隋还沿用旧制，凡军事上较重要的州设置总管，兼任刺史，一个总管统辖邻近几个州的军事。隋初曾设置尚书行台节制一方，后虽废罢，但并（今山西太原西南）、扬（今属江苏）、荆（今湖北江陵）、益（今四川成都）四大总管，所辖多至数十州，实即尚书行台的后身。大业元年（），鉴于汉王杨谅以并州总管起兵，炀帝下诏废除诸州总管府，进一步加强中央集权。

制订开皇律周大象元年杨坚掌权后不久，就对北周制订的苛重法律进行修改，开皇元年和开皇三年，又制订和修改了隋律，即《开皇律》。隋律以北齐律为基础进行补充调整，形成了完整的体系。隋代法律对后世有很大的影响。曾经被东亚各国的法律所取法的唐律即是《开皇律》的继承和发展。炀帝时又曾修改《开皇律》中某些苛重条文，于大业三年颁行，即《大业律》。