Auto-encodeurs variationnels : contrecarrer le problème de posterior collapse grâce à la régularisation du décodeur

Alban Petit (1) , Caio Corro (1)

1 TLP - Traitement du Langage Parlé - LISN

Les auto-encodeurs variationnels sont des modèles génératifs utiles pour apprendre des représentations latentes. En pratique, lorsqu’ils sont supervisés pour des tâches de génération de textes, ils ont tendance à ignorer les variables latentes lors du décodage. Nous proposons une nouvelle méthode de régularisation fondée sur le dropout « fraternel » pour encourager l’utilisation de ces variables latentes. Nous évaluons notre approche sur plusieurs jeux de données et observons des améliorations dans toutes les configurations testées.

Mots clés: génération automatique de textes.; régularisation; auto-encodeurs variationnels

Domaines: Informatique et langage [cs.CL]

Alban Petit, Caio Corro. Auto-encodeurs variationnels : contrecarrer le problème de posterior collapse grâce à la régularisation du décodeur. Traitement Automatique des Langues Naturelles, 2021, Lille, France. pp.2-10. ⟨hal-03265886⟩