Eduard Charlemont nasceu em Viena, capital do Império Austríaco, em 1848. Seu pai, Matthias Adolf Charlemont, também era pintor, especializado em pintar retratos em miniatura.

Seu irmão mais novo, Hugo Charlemont (1850–1939), foi um pintor impressionista igualmente famoso. Aos quinze anos, Charlemont expôs pela primeira vez as suas obras na Academia de Belas Artes de Viena, onde estudou artes plásticas. Na mesma idade, Eduard Charlemont também foi contratado por uma escola feminina para ensinar desenho.

Depois de se formar na Academia de Belas Artes de Viena, Charlemont viajou por vários países da Europa Central e finalmente se estabeleceu em Paris, onde viveu pelos trinta anos seguintes.

Em Paris, ganhou diversas vezes o primeiro prêmio do Salão de Paris, exposição anual realizada pela Academia Francesa de Belas Artes (francês: Académie des Beaux-Arts).

A obra mais famosa de Charlemont é O Guardião do Serralho, amplamente conhecido como O Chefe Mourisco, representando um espadachim mouro guardando um serralho (parte de uma típica villa árabe rica, onde as mulheres ficavam quando estranhos entravam na casa).

Em 1899 ganhou a medalha de ouro na Exposition Universelle, Feira Mundial realizada em Paris. Charlemont também era conhecido por seus murais. Pintou três dos murais do Burgtheater (o Teatro Nacional Austríaco em Viena e um dos mais importantes teatros de língua alemã do mundo), totalizando cerca de 55 metros de comprimento.

Ele morreu em Viena em 1906.