衡阳市处于湖南省凹形面的轴带部分。周围环绕着古老宕层形成的断续环带的岭脊山地，内镶大面积白垩系和下第三系红层的红色丘陵台地，构成典型的盆地形势。

　　衡阳盆地南高北低。盆地南面地势较高，1000米以上的山中东西连绵数十公里；盆地北面相对偏低，衡山山脉虽较高，但各峰呈峰林状屹立于中间，其东西两侧都有较低的向北通道，其东侧的湘江河谷两岸海拔高度均在100米以下。整个地形由西南向东北复合倾斜，而盆地由四周向中部降低，呈现1000米，800-700米、400-300米、150米四级夷为平面。四周山丘围绕，中部平岗丘交错。东部为罗霄山余脉天光山、四方山、园明坳；南部为南岭余脉塔山、大义山、天门仙、景峰坳；西部为越城岭的延伸熊罴岭、四明山、腾云岭；西北部、北部为大云山、九峰山和南岳衡山。整个地形比降为7.9‰。南部山峰大多海拔600米以上，常宁天堂山最高，海拔1265米。西部山峰多海拔500米以上，祁东腾云岭最高，海拔1044米。东北部除南岳衡山外，一般地面高程在海拔300米-500米。

　　市境最高点为衡山祝融峰，根据国家最新的测量中共衡阳市委、衡阳市人大、衡阳市政府、衡阳市政协，海拔1300.2米；最低点为衡东的彭陂港，海拔仅39.2米。

　　地貌类型以岗丘为主。山地占总面积的21%，丘陵占27%，岗地占27%，平原占21%，水面占4%。中部大面积分布白垩系和第三系红层，面积3550平方公里，构成衡阳盆地的主体。

　　境内有河长5公里或流域面积10平方公里以上的江河溪流393条，总境长达8355公里，河网密度为每平方公里0.55公里。发源于广西兴安的湘江干流，自祁东归阳镇入境，依次流经祁东县、衡南县、常宁市、市区、衡阳县、衡山县和衡东县，境内长226公里。境内流域面积在3000平方公里以上的湘江一级支流有舂陵水，蒸水，耒水、洣水。

　　水电资源理论蕴藏量87.61万千瓦，可供开发量64.17万千瓦。

　　湘江是湖南省最大的河流，全长856km,流域面积94660km2。其在衡阳市境内干流长226km,自祁东归阳清塘流入境内，从衡东和平村出境进入株洲市，占湘江在湖南境内里程的39.7%。