康熙三十八年（1699年）举人出身。康熙末与田文镜、李卫並为雍亲王（雍正帝）心腹。雍正五年（1727年），奉命修《八旗通志》初集，凡250卷。雍正时期嘗任云贵总督，兼辖广西，在雲南積極推行改土归流，雍正四年（1726年）上疏「雲貴大患，無如苗蠻，欲安民，必制夷，欲制夷，必改土歸流」，七年設官府，置流官，駐軍隊，鞏固了西南邊疆。与田文镜、李卫并称为「模范总督」。1737年任保和殿大学士兼军机大臣、兵部尚书。雍正崩，受遗旨与张廷玉辅政。乾隆初任总理事务，加至太保。乾隆七年（1742年），諭令大學士鄂爾泰、張廷玉纂修《國朝宮史》。乾隆十年（1745年）以病解职。同年三月乾隆親往鄂爾泰住所視疾，加為太傅。不久病卒。

雍正最欣賞李衛、鄂爾泰、田文鏡三人，當面告訴尹繼善，謂當學此三人。尹繼善奏曰：「李衛，臣學其勇，不學其粗；田文鏡，臣學其勤，不學其刻；鄂爾泰，宜學處多，然臣亦不學其愎。」雍正不以為忤。乾隆嘗謂：「我朝百餘年來，滿洲科目中，惟鄂爾泰與尹繼善為真知學者。」（《清史稿·列傳九十四》）