早年仕途
康熙十九年（1680年），鄂尔泰出生。他的先人早期投归清太祖努尔哈赤，为世管佐领。祖父图彦突官至户部郎中，父亲鄂拜曾任国子祭酒。
康熙二十五年（1686年），鄂尔泰六岁入学，攻读四书五经，八岁开始作文，练习书法，十六岁应童子试，次年中秀才，十九岁补廪膳生，二十岁中举，即进入仕途。二十一岁袭佐领世职，充任侍卫，此后一直活跃在官场。
康熙五十五年（1716年）三十七岁时，才出任内务府员外郎。可是又淹滞不进，这时他很为自己的官场不利而烦恼。
康熙六十年（1721年）元旦，正值四十二岁，他作诗自叹：“揽镜人将老，开门草未生。”又在《咏怀》诗中吟道：“看来四十犹如此，便到百年已可知。”他对自己的前途很悲观，绝没有想到后来能出将入相。
官运转机
雍正元年（1723年）正月，他被任命为云南乡试副主考。五月，越级提升为江苏布政使，成为地方大员。
雍正三年（1725年），晋升为广西巡抚。在赴任途中，雍正帝觉得仍可大用，改封为云南巡抚，兼管云南、贵州、广西三省。就在此时，朝廷发生了关于“改土归流”的争议。而名义上的云贵总督杨名时，只管理云南巡抚的事务。所以，鄂尔泰在西南开始官职虽为巡抚，而实际上行使着总督的职权。原来，云南、贵州、广西、四川及湖南，湖北等地，居住着
苗、彝、壮、白、瑶等少数民族。这些地方交通闭塞、习俗固弊，经济、文化落后，直至清初仍实行着野蛮的土司制度。各处的大小土司如同部落主，广大土著居民皆是他们的奴隶和部卒，土地、山林、水源，包括土著居民人身全被土司占有，土司与土民成为世代不变的主仆关系。土司所到之处，土著居民都要跪在地上膜拜。土司有权对其“子民”任意处置，任意占有、转让、出卖；吃酒游乐时，常以射杀土著居民为戏；祭祖敬神，也把土著居民杀死作为牲祭。稍不如意，便用割耳、断指、抽筋、剥皮、宫阉等酷刑。至于夺其财物、勒交赋税更是随心所欲了。土司都拥有军队，林立的大小土司，如同大小王国，对中央形成威胁；临近的官兵略加过问，马上刀兵相见。土司制度妨碍国家统一，阻碍地方经济、文化的进步。数百年来，也曾有过治理行为，但没有一个成功。
雍正帝即位，西南各省地方官纷纷上奏，要求解决这一重大问题。众臣认为，解决问题唯一办法是“改土归流”，即取消土司制度，改为一律由中央政府派官的流官制度。恰在此时，雍正帝任命鄂尔泰为云贵总督封正南为都统，目的就是让他去解决土司之患。鄂尔泰所部军队刚刚扎营，便遭土司甲兵骚扰，营房亦被焚烧。经过调查研究，他感到发兵出击，只能解决暂时的问题，若从长远计议，必须彻底根除土司统治制度，坚决实施“改土归流”方针大计。他在奏折中阐述“改土归流”的原则：以用兵为前锋治其标，以根本改制治其本。对敢于反抗的土司，剿抚并用，顽抗到底者坚决剿灭；只要悔改，对抗过官兵的土司也一律宽免。重点策略是促土司投献，投献者给以安抚，表现好的可任其政府的流官，尽量减少敌对情绪，减轻“改土归流”的阻力。鄂尔泰的奏疏使雍正对实行“改土归流”下定了决心。
督察三省
雍正四年（1726年）十月，鄂尔泰获得云贵总督实职，加兵部尚书衔。鄂尔泰对向官兵挑衅的广顺长寨土司用兵，土司负隅顽抗，遭到毁灭性的打击。长寨土司被摧毁，鄂尔泰奏准派流官治理，在此设长寨厅（即今长顺县）。这是鄂尔泰进行大规模“改土归流”的胜利开端。长寨事定，雍正帝在批复派遣长寨厅的第一个流官的同时，破格升任鄂尔泰为云南、贵州、广西三省总督。因为这三省改流的任务最重，由鄂尔泰受命后，立即全面了解三省特点及三省土司情况，进一步制定了改流和用兵的计划。他对土司用兵，政策性极强，轻重缓急，把握得当。长寨地区改土之时，各处土司态度都很凶横，官兵所到，土司皆挟众反抗。鄂尔泰命总兵挥师挺进，攻陷一个个塞垒，坚决镇压敢于反抗的大小土司，很快便征服了永宁、永安、安顺等1398寨，广顺、定番、镇宁等680余寨，战果辉煌。
镇沅地区土司刀瀚、沾益土司安于蕃，是前朝被任命的土知府和土知州，他们以朝廷命官身份招募军队，既扩充了他们的势力，又毁坏了官府的形象。鄂尔泰发兵进击，活捉了刀瀚、安于蕃。在其地分设镇沅州（今镇沅县）、沾益州（今沾益县），以流官取代了土司。随后，鄂尔泰置函劝乌蒙、镇雄二地土知府向官兵自动投献。两地土司禄万钟、陇庆侯不仅不降，反而联合对抗官兵，不待官兵行动即攻掠东川府清军营盘，气焰十分嚣张。鄂尔泰命游击哈元生率兵征讨，并咨文川军协助进剿，一举击败二土司联军，遂又对二地改流，设乌蒙府（后改称昭通府）和镇雄州（今镇雄县）。
雍正初年，广西泗城土知府岑映宸有兵四千余，武器精良，鄂尔泰决心对其实行招抚。岑映宸经多番招抚，终于解甲乞降，鄂尔泰给了他优待条件，遂在此地设泗城府制（今凌云县）。在鄂尔泰的努力下，“改土归流”得以大张旗鼓地展开，梧州，柳州、庆远等地的兄弟民族广大群众，积极拥护“改土归流”，主动向鄂尔泰献粮贡秣，组织自卫力量，配合官军打击劣司，有力地推动了广西地区“改土归流”的开展。
苗疆改土
黔东苗岭山、清江、都江地区是贵州省著名的“苗疆”，周围三千余里，土塞1600余处，左有清江可达于楚，右有都江可达于粤，古州据中央群塞环于四周，地势险要。鄂尔泰深感对这一地区改流难度更大，便找熟悉此地地形的贵州按察使张广泗商量对策。雍正四年（1726年），张率兵击退前来抗击官兵的苗司军队，攻入古州城。
然而，“苗疆”的土司屡败屡起，尽管张广泗有勇有谋，也难以顺利进行“改土归流”。雍正帝派部员到此“宣谕化民”，仍无济于事。扰攘经年，终又发生反复，被赶走的土司和其武装蛊惑土著居民叛乱。叛民攻占已归流的古州、台拱、黄平，包围都匀府的丹江、凯里、雍正帝调遣广、四川军队配合鄂尔泰镇压叛军，又派“抚苗大臣”张照自京师前来“会剿”。结果，张照却密告鄂尔泰的“改土归流”方略根本错误，不仅未能平服叛乱，反又添内乱。鄂尔泰上疏，只承认没能彻底搞好“改土归流”，但坚不认为改流方针的错误。直到罢免张照，再令张广泗镇压叛乱，才使此地流官制度得以落实。
安定湖川
两湖地区在云贵改流进展之时也开始实行。这里虽有土司，但土著居民与汉民杂居，土司也熟悉流官制度。“改土归流”的大势威慑两湖土司多有主动要求改流者，但也有少数负隅顽抗。湖北容美土司田如不听改流，雍正帝命鄂尔泰派兵进剿，田众叛亲离，吓得自缢身亡，所属地区改为流官制。
四川宁远、峨边、马边、雷波等地，山峦连绵，彝民祖辈在这里劳动生息。但土司制度使他们深受其害，生活极端悲惨。四川军政长官对彝民区的改流产生畏难情绪，迟迟不动。当云贵地区有所建树后，促使他们也派兵进入彝区，在沙马、雷波、吞都、黄螂、建昌等地较为顺利地进行了“改土归流”。
总之，改土归流是中国历史上的一件大事，在这项边疆官制的改革中，鄂尔泰充当了主要角色，由关键之时的上书，到制定改流方针大计，再到具体实施，历时多年，付出了艰苦的努力。
晚年逝世
雍正六年（1727年），鄂尔泰改任云贵广西三省总督，次年加衔为少保，雍正十年（1732年）召至京城，任保和殿大学士，居内阁首辅的地位。后来又因为改土归流之功晋封为伯爵。同年，因清政府在西北两路用兵，他出任三边经略，赴陕甘前线督师，数月后回京复命。
雍正十三年（1735年），贵州改土归流地区土民叛乱，雍正帝因为他对叛乱的事情经理不善，削去伯爵之位，但对他信任如故。
雍正帝死后，鄂尔泰出任总理事务大臣。乾隆元年（1736年）为钦点会试大总裁，除大学士职务以外，他又兼任军机大臣、领侍卫内大臣、议政大臣、经筵讲官，管翰林院掌院事，加衔太傅，国史馆、三礼馆、玉牒馆总裁，赐号襄勤伯。
乾隆十年（1745年）病逝，享年六十六岁。乾隆帝亲临丧所致祭，谥文端，配享太庙，入祀京师贤良祠。十一年之后，即乾隆二十年（1755年），因其侄鄂昌与门生胡中藻之狱，被撤出贤良祠。