Был вторым ребёнком в семье. Имел старшего брата (умер в младенчестве), трёх младших сестёр и младшего брата.
Его отец, Бернард Франсуа Бальсса, родом из бедной семьи, в в 1776 стал секретарем Совета короля и масоном. Его мама, Анн Шарлотт Лаура Салламбьер, была родом из торговой богатой семьи.