Eduard Charlemont est né à Vienne, capitale de l'Empire autrichien, en 1848. Son père, Matthias Adolf Charlemont, était également peintre, spécialisé dans la peinture de portraits miniatures.

Son jeune frère Hugo Charlemont (1850-1939) était un peintre impressionniste tout aussi célèbre. À l'âge de quinze ans, Charlemont expose pour la première fois ses œuvres à l'Académie des Beaux-Arts de Vienne, où il étudie les beaux-arts. Au même âge, Eduard Charlemont est également engagé dans une école de filles pour enseigner le dessin.

Après avoir été diplômé de l'Académie des Beaux-Arts de Vienne, Charlemont voyage dans de nombreux pays d'Europe centrale et s'installe finalement à Paris, où il réside pendant les trente années suivantes.

A Paris, il remporte à plusieurs reprises le premier prix du Salon de Paris, une exposition annuelle organisée par l'Académie française des Beaux-Arts (français : Académie des Beaux-Arts).

L'œuvre la plus célèbre de Charlemont est Le Gardien du Sérail, largement connu sous le nom de Le Chef maure, représentant un épéiste maure gardant un sérail (une partie d'une riche villa arabe typique, où les femmes restaient lorsque des étrangers entraient dans la maison).

En 1899, il remporte la médaille d'or à l'Exposition Universelle, une Exposition universelle organisée à Paris. Charlemont était également connu pour ses peintures murales. Il a peint trois des peintures murales du Burgtheater (le Théâtre national autrichien de Vienne et l'un des théâtres de langue allemande les plus importants au monde) totalisant une longueur d'environ 55 mètres.

Il mourut à Vienne en 1906.