1892年，德国机械工程师狄塞尔取得了在内燃机中使用压缩点火的专利。他希望通过提高压缩比来提高热效率，利用压缩气体产生的高温来点火，不但省去火装置和汽化器，而且可以用比汽油便宜的柴油做燃料。狄塞尔经过5年的艰难实验，终于在1897年制成了第一台具有实用价值的高压缩型自动点火内燃机，即压燃式柴油机。它加长了燃烧过程前的压缩过程，这是内燃机技术的第二次突破。
狄塞尔发动机能将35％的燃料潜能转变成动力，而当时最有效的汽油发动机却只能将28％的燃料潜能转变成动力。狄塞尔发动机的缺点是重量大，噪声大，燃烧重油时排出大量的废气非常令人讨厌。
狄塞尔在有生之年只看到他的发动机的巨大成功的开端。现在，他的发动机被用来为载重汽车，公共汽车，出租汽车，小船，发电站和铁路机车提供动力。狄塞尔1913年在经济上陷入了绝境，从在英吉利海峡航行的一艘轮船上跳海自杀。
柴油机在1914年以前发展缓慢，1914~1918年第一次世界大战期间，迫于战争的需要才开始大量生产柴油机。但柴油机的广泛应用是在1950年左右。在此之前，喷油泵的不完善，严重限制和影响了柴油机的使用。
柴油机在1898年被首先用于固定式动力上。1902年开始用于商船动力，1904年装在了海军舰艇上。1912年第一台柴油机车研制成功。1920年左右应用于汽车及农业机械。1932年德国制成容托航空柴油机，1936年至1939年负有盛名的容克式航空柴油机制成。
早期的柴油机均系四冲程，1899年德国工程师雨果·古尔德纳成功地制造出了二冲程发动机，它可以把采用相同气缸的四冲程柴油机的功率提高60％~80％。但古尔德纳却以埃克哈特的名义申请他的二冲程柴油机的专利，并让奥格斯堡机械厂来生产这种柴油机。到1936年美国通用汽车公司使用的小功率柴油机都采用了二冲程型式。二冲程柴油机结构简单，价廉。但它的燃油及润滑油耗量较高，冷却较难，耐用性较差。