Rombaux begon in het atelier van zijn vader Felix Rombaux en in 1879 werd hij leerling aan de Koninklijke Academie van Brussel.
Hij werkte in het atelier van Albert Desenfans en volgde lessen bij Charles Van der Stappen. In 1884 assisteerde hij Jef Lambeaux bij de uitvoering van Dulle Griet en Brabo.
In 1887 kreeg hij de Prijs Godecharle waardoor hij 3 jaar lang 4000 Francs kreeg om studiereizen in Italië te doen.
In 1891 kreeg hij de Prix de Rome. Van 1894 tot 1900 deed hij mee aan de Société Nationale de Beaux Arts in Parijs, waar hij dan ook woonde en hij Rodin leerde kennen.
Aan de Exposition 1900 in Parijs deed hij mee met Venusberg, en lampen en kandelaars die hij in art nouveaustijl ontwierp voor de goudsmid Hoosemans.
hij maakte penningen, bustes, monumentale beeldhouwwerken en bouwkunst.
Zijn werk is in verschillende musea opgenomen, o.a. in de Tate Gallery en het Koninklijk Museum voor Schone Kunsten Antwerpen.
Rombaux overleed op 77-jarige leeftijd. Na zijn overlijden werd door de Academie de Égide Rombauxprijs ingesteld.
