Henri nasce il 24 novembre 1864 dal conte Alphonse-Charles-Marie de Toulouse-Lautrec-Montfa e da Adèle- Zoë-Marie-Marquette Tapié de Céleyran, sua cugina di primo grado, appartenente a un’antica famiglia della provincia di Aude. Il parto avviene in uno dei palazzi di famiglia, l’Hôtel du Bosc di Albi, una città della Francia del Sud-Ovest, ottanta chilometri a nord di Tolosa.
Nelle numerose proprietà dei Toulouse-Lautrec, Henri cresce vezzeggiato, coccolato e anche molto fotografato nei suoi primi anni, quando i suoi
nomignoli sono “petit bijou”, il gioiellino, e “bébé lou poulit” che in langue d’oc, l’antica lingua della tradizione locale, significa “bambino
grazioso”. Nessuno ancora sospetta che sia affetto da una malformazione genetica dovuta a un matrimonio tra consanguinei. Anzi, nel 1867 Alphonse e
Adèle mettono al mondo un altro figlio, Richard. Ma in capo a un anno il bambino muore; in seguito il conte abbandona la famiglia e di lì a breve i
coniugi si separano. All’epoca, Henri non ha che quattro anni, ma il corso della sua vita non sembra risentirne e il piccolo continua la sua esistenza
più che altro in compagnia della madre, ma frequentando anche il padre tra ambienti aristocratici, oggetti preziosi e raffinati, cavalli, gite in
campagna, cacce col falcone (di cui il conte Alphonse è un patito), soggiorni nelle nobili magioni di cui è proprietaria la famiglia: lo château du
Bosc, lo château de Céleyran, ricche dimore a Parigi e Neuilly nonché, dal 1883, lo château de Malromé, non distante da Bordeaux, acquistato dalla
contessa Adèle che ne farà il suo ritiro dorato.