Novel Variational Approaches to Inference and Learning

Nouvelles Méthodes Variationnelles pour l'inférence et l'apprentissage

Achille Thin (1)

1 CMAP - Centre de Mathématiques Appliquées - Ecole Polytechnique

This thesis addresses the problem of high dimensional inference.We propose different methods for estimating normalizing constants and sampling complex distributions.In a first part, we develop several Markov chain Monte Carlo methods.On the one hand, we develop a new approach for non-reversible kernels. On the other hand, we propose two massively parallelizable methods combining local and global properties of Markov chain Monte Carlo methods, in particular based on a new normalization constant estimator.We apply these methods to the approximate inference of the posterior distribution of deep Bayesian neural networks, in a case where the state space is very high dimensional.In a second part, we propose two generative models, based on a new form of normalising flows combined with Markov chains, or new variational inference methods, by building in particular a new variational autoencoder.These methods allow in particular to combine variational inference and Monte Carlo by Markov chains.

Cette thèse porte sur le problème de l'inférence en grande dimension.Nous proposons différentes méthodes pour l'estimation de constantes de normalisation et l'échantillonnage de distributions complexes.Dans une première partie, nous développons plusieurs méthodes de Monte Carlo par chaînes de Markov.D'une part, nous développons une nouvelle approche pour des noyaux non-réversibles. D'autre part, nous proposons deux méthodes massivement parallélisables combinant des propriétés locales et globales des méthodes de Monte Carlo par chaînes de Markov, en particulier en se basant sur un nouvel estimateur de constante de normalisation.Nous appliquons ces méthodes à une tâche d'inférence approchée de distribution emph{a posteriori} de réseaux de neurones bayésiens profonds, dans un cas où l'espace d'état est à très haute dimension.Dans une deuxième partie, nous proposons deux modèles génératifs, basés sur une nouvelle forme de flots normalisants combinés à des chaînes de Markov, ou à de nouvelles méthodes d'inférence variationnelle, en construisant en particulier un nouvel auto encodeur variationnel.Ces méthodes permettent en particulier de combiner inférence variationnelle et Monte Carlo par chaînes de Markov.

Mots clés: Variational; Inference; Learning; Markov chain; Monte Carlo

Mots clés: Variationnel; Inférence; Apprentissage; Chaînes de Markov; Monte Carlo

Domaines: Machine Learning [stat.ML]; Statistiques [math.ST]; Méthodologie [stat.ME]

Achille Thin. Novel Variational Approaches to Inference and Learning. Machine Learning [stat.ML]. Institut Polytechnique de Paris, 2022. English. ⟨NNT : 2022IPPAX036⟩. ⟨tel-03711332⟩