蒙古族形成之前，分别经历了匈奴时期、鲜卑时期、柔然时期、突厥时期、黠嘎斯和阻卜时期和契丹时期的统治。
匈奴时期
早期的亚洲大陆腹地的蒙古地区有三大以游牧为生的部落：月氏、匈奴、东胡。前209年，匈奴的冒顿单于建立了蒙古地区历史上的第一个国家。
匈奴成为强大的游牧部落，并与中国的秦朝、汉朝长期对立。
然而，强大的游牧帝国并没有长久。经过激烈的内部纷争和外来的军事打击后逐步走向衰落，虽然在东汉初期由于中国内战而统一并连年入侵，但是后来在48年匈奴分成南北两个匈奴，155年在鲜卑人征伐下北匈奴崩溃，最终在158年被丁零人打败；在216年南匈奴被曹操一分为五。秦、汉帝国在漠南地区南部设置郡县。
鲜卑时期
鲜卑的渊源尚无定论，一说认为其属于汉文史料上所谓的东胡部落之一。在2世纪中期，鲜卑在檀石槐的领导下崛起，并而建立了鲜卑国，占领了蒙古地区和中国汉朝北部的一些地区。并进一步渗入魏晋时期的中国北部边疆，到五胡十六国时期。
分别有有慕容鲜卑、秃发鲜卑、乞伏鲜卑、段氏鲜卑、宇文鲜卑、拓跋鲜卑建立的国家；386年，鲜卑的一支拓跋建立北魏，统一了五胡十六国之后的中国北部，维持统治直到581年。这个时期在蒙古地区活跃的民族还有敕勒。
柔然时期
402年，拓跋鲜卑的别支（奴隶）柔然的首领社仑称可汗。在之后的一百年中柔然称雄蒙古草原。北魏和柔然之间发生了多次战争。552年，柔然人在蒙古高原被突厥土门可汗击败，柔然汗国崩溃。
突厥时期
552年突厥击败柔然汗国成为蒙古地区的新兴王国。583年突厥分裂为东西两汗国。并在屡次与隋朝的战争战败而走向衰落（参见隋与突厥之战）；虽然在隋末唐初时因中国内乱而盛极一时并连年入侵，最终在630年，东突厥被唐朝征服并纳入疆域，但681年后突厥复国，并对武则天的武周连年入侵，对武周的边疆造成不同程度的摧毁。
回纥时期
回纥是敕勒的一小部分，原是突厥下属的部落。唐天宝三年（744年），以骨力裴罗为领袖的回纥联盟在唐帝国军队的协助下，推翻了突厥汗国，杀突厥白眉可汗 。一开始唐和回纥的关系以和平为主。不过也在762年趁机敲诈混乱中的唐朝，并以掠夺洛阳城为条件收复洛阳从而对剿灭安史之乱起到一定作用。
9世纪时，因为长期对吐蕃的战争造成内乱，加上统治无道而最终被黠嘎斯在840年出动十万重兵灭亡。
黠嘎斯和阻卜时期
黠嘎斯灭亡回纥后，一部分回纥人因亡国而南迁契丹，大部分回纥人西迁中亚的塔里木盆地的绿洲城邦。少部分留在原地，期间大漠南北都被黠嘎斯占领，其东部有突厥语族的阻卜部落，一直到924年被耶律阿保机打败。
契丹时期
契丹最早见于史籍是405年，渊源尚无定论，根据汉文史料的记录自称“青牛白马之后”，一说渊于段氏鲜卑部。
907年，耶律阿保机称可汗。
916年契丹首领耶律阿保机建立大中央胡里只契丹国，因契丹人聚居区是在辽水上游一带，而且938年之后统治了当时汉地的燕云十六州，国号“大辽”，后来北宋人也沿袭此叫法，到1125年大中央胡里只契丹国为女真人所灭。大中央胡里只契丹国盛时疆域包括蒙古地区的大部，全盛时，疆域东北至今日本海，北至今蒙古国中部的色楞格河、石勒喀河一带，西到阿尔泰山，南部和北宋接壤。
