埃里希·克莱伯出生于维也纳，幼年时父母双亡，随祖父移居布拉格，后返回维也纳学习小提琴。在听了马勒指挥《第六交响曲》后，埃里希立志成为一名指挥家。1908年，他进入布拉格音乐学院学习作曲。1912年，他在达姆施塔特歌剧院被指挥家阿图尔·尼基什看中。
1923年，埃里希·克莱伯在柏林国家歌剧院指挥贝多芬的《费德里奥》，大获成功。三天后，他成为国家歌剧院的首席指挥。评论家称他为歌剧界的拿破仑。
埃里希·克莱伯致力于现代音乐的演绎。他首演了贝尔格的《露露》（1925 年），排练了 126 次。20 世纪 30 年代，纳粹势力开始干涉歌剧院的演出。在指挥贝尔格的《露露》序曲（当时的先锋派音乐）后，他辞去了歌剧院的职务。他于 1935 年 1 月离开德国，并以客座指挥的身份在各国演出。二战期间，他移居南美，在美洲各地指挥演出。
战后，他成为NBC交响乐团的客座指挥。1948年，他回到欧洲，活跃于柏林、维也纳、布拉格、莱比锡等地。1951年，他是青年玛丽亚·卡拉斯的导师，当时演出了威尔第歌剧《西西里晚祷》。1956年1月27日，埃里希·克莱伯去世，此前他正准备与维也纳爱乐乐团合作在Decca唱片公司录音并在美国巡演。
他的儿子卡洛斯·克莱伯（原名卡尔）也是20世纪著名的指挥家。