伊犁哈萨克自治州地处中亚内陆腹地，境内分布着许多高山峻岭，又有广阔的山间平原盆地和河谷地，“三山两盆两谷”组成自治州的主要地貌单元。

阿尔泰山，蒙古语意为“金山”，因产金而得名。它绵延于中俄、中蒙边境，全长1000多公里，呈西北－－东南走向，是亚洲的宏伟山系之一。主体在蒙古国境内，自治州东北部的阿勒泰地区，系阿尔泰山中段南坡，长约500公里。

天山山脉及其支脉婆罗科努山横亘于自治州南部，西起伊犁地区，东至星星峡，长约1700公里，在自治州长约450公里。分水岭山脊海拔4000－6000米，最高的托木尔峰海拔7443米。山势西高东低，西宽东窄。西段宽达400公里，东段宽近100公里。平行山脉之间为大小不等的山间盆地和谷地。伊犁河谷位于天山西部，呈东南直向，三面环山，有婆罗科努、科古琴、乌孙山和那拉提山，谷地呈三角形，东部顶点为特克斯河与巩乃斯河交汇处，西部底边朝向中哈边界，东高西低，地势由东向西倾斜，东西长170公里。伊犁河两岸为洪积冲积平原，伊犁河谷地南部为昭苏－－特克斯盆地，呈东窄西宽的楔形，主要为特克斯洪积冲积平原。

在阿尔泰山与天山之间有准噶尔盆地。其地势东高西低，由东北向西南倾斜，盆地轮廓呈不等边三角形。西面有萨吾尔、塔尔巴哈台、巴尔鲁克、阿拉山等低山；东面有北塔山；西面还有几个地势较低的缺口，故被称为半封闭性内陆盆地，海拔高度起伏不一，平均海拔不到500米，最低处艾比湖一带为189米。盆地东西长约850公里，南北宽约380公里，总面积约38多万平方公里。盆地中部的古尔班通古特沙漠，是我国第二大沙漠，绝大部分是固定或半固定的沙丘。沙漠和干燥剥蚀平原占盆地的三分之二左右。

在众多气势雄伟、蜿蜒不断的群山顶上，终年白雪皑皑，冰山雪峰融汇成大小河流，纵横奔腾，主要有伊犁河、额尔齐斯河、额敏河、乌伦古河等。除额尔齐斯河注入北冰洋外，其他都属于内陆河，流入盆地的低洼部位。其中伊犁河是新疆水量最大的河流，上游为特克斯河、巩乃斯河和喀什河，在雅玛图汇合后称为伊犁河，流经伊宁县、伊宁市、察布查尔锡伯自治县和霍城县境，至国界同霍尔果斯河汇合后，注入哈萨克斯坦境内的巴尔喀什湖。

额尔齐斯河是自治州第二大河流，它发源于阿尔泰山南麓，由布尔津河、哈巴河、克兰河等支流汇合而成，流经富蕴县、阿勒泰市、布尔津县和哈巴河县境，向西流入哈萨克斯坦后，与鄂毕河汇合，注入北冰洋，是我国唯一的北冰洋水系。在我国境内长600公里，年径流量112亿立方米。

额敏河由东向西流经额敏县和塔城市境，至巴克图以南流入哈萨克斯坦境内的阿拉湖。

乌伦古河发源于阿尔泰山东南麓，由青格里河和布尔根河汇合而成，自北向南而后转向西北，流经青河、富蕴、福海等县，流入乌伦古湖。乌伦古湖亦名布伦托海，位于福海县西北，是良好的天然渔场。

奎屯河发源于天山北麓，其主要支流有四棵树河、古尔图河，由南向北流经准噶尔盆地，最后向西流入艾比湖。

玛纳斯河发源于北麓，主要支流有金沟河和巴音沟河，纵贯沙湾县境，由南向北流入准噶尔盆地腹心的玛纳斯湖。