遵義市處於雲貴高原向湖南丘陵和四川盆地過渡的斜坡地帶，在雲貴高原的東北部，地形起伏大，地貌類型複雜。海拔高度一般在1000～1500米，在全國地勢第二級階梯上。
全市平壩及河谷盆地面積佔6.57％，丘陵佔28.35％，山地佔65.08％。大婁山山脈自西南向東北橫亙其間，成為天然屏障，是市內南北水系的分水嶺，在地貌上明顯地把遵義市劃分為兩大片：山南是貴州高原的主體之一，以低中山丘陵和寬谷盆地為主，一般耕地比較集中連片，土地利用率較高，是糧食、油料作物的主要產地。從烏江谷緣到大婁山脈，明顯可見三級台地：最低一級海拔高度1000～1200米，中間一級1300～1350米，最高一級1500～1600米。
山北以中山峽谷為主，山高谷深，山地垂直差異明顯，耕地比較分散。南片佔全市總面積的37.6％，北片佔62.4％。全市地貌類型，根據成因，可分成三大類：熔蝕地貌區、熔蝕構造地貌區和侵蝕地貌區。其中以溶蝕和熔蝕構造地貌（巖溶地貌）分佈最廣，約佔全市土地面積的75％。全市海拔最低處在赤水市境內與四川省合江縣交界的習水河與赤水河匯合口，海拔221米；最高處在桐梓縣的柏枝壩箐壩自然保護區牛角寨，海拔2227米，是大婁山山脈的最高峯。
