吕梁山位于山西省西部，与山西省东缘的太行山大致平行，呈东北--西南走向，绵延400多公里，是黄河中游黄河干流与支流汾河的分水岭。
吕梁山脉的地质构造为吕梁背斜褶皱断块山地。向北伸为两支，近东北方向为管涔山和芦芽山，其东面为云中山，东至雁门关与五台山相接。中段为关帝山，主峰位于太原西方，海拔2831米，又名南阳山。南段为火焰山、龙门山，端点为黄河东岸的禹门口。吕梁山脉西坡有厚层的黄土堆积，水土流失严重，是黄河中游重点产沙区之一。山脉东翼为断层构造，山势陡峻，俯瞰汾河地堑中的忻州、太原、临汾盆地。山脉中高峰海拔多在2500米以上，对区域气候有明显的作用。
吕梁山东侧的水热条件相对优越，发源有汾河的干流和部分支流，是汾河的主要水源区。历史时期山区森林茂盛，植被类型多样。山脉的地理纬度地带性特征明显，以芦芽山为代表的北段分布有寒温带针叶林，中段关帝山为温带针阔叶混交林，南段的五鹿山为暖温带阔叶林。其中芦芽山自然保护区是山西省动植物及生态系统完整的生物生态系统综合保护区，该区于1980年在五寨县境内建立，面积2.15万公顷。保护区内分布有灌丛草原、常绿针叶林、亚高山草甸等多种植被类型。优势树种为华北落叶松和云杉。保护区内还栖息着多种食草、食肉类动物，其中以褐色鸡最为珍贵。芦芽山海拔2739米，地形复杂，沟壑纵横，怪石嶙峋，形似芦芽，故名。它又是山西省的著名风景区。吕梁山南部、位于吉县的黄河壶口瀑布是著名的胜景。
吕梁山东南麓的临汾盆地是中国远古文明发源地之一。以后的人类活动也创造出辉煌的文明。现吕梁山区保存有偏关、宁武关、晋祠、天龙山石窟、玄中寺、则天庙、东岳庙、乡宁千佛洞、山神峪千佛洞等文物古迹，在汾阳县有汾酒、竹叶青酒等地方名产。