On some recent advances on high dimensional Bayesian statistics

¹ ENSAE, Malakoff, France,
Nicolas.Chopin@ensae.fr
² Toulouse School of Economics (Université Toulouse I Capitole), Toulouse, France,
Sebastien.Gadat@math.univ-toulouse.fr
³ MODAL project-team, Inria Lille - Nord Europe, Villeneuve d’Ascq, France,
Benjamin.Guedj@inria.fr
⁴ LSTA, Université Pierre et Marie Curie, Paris, France & Projet ASPI, Inria, Rennes, France,
Arnaud.Guyader@upmc.fr
⁵ Université Paris-Sud, Orsay, France,
Elodie.Vernet@math.u-psud.fr

Abstract

This paper proposes to review some recent developments in Bayesian statistics for high dimensional data. After giving some brief motivations in a short introduction, we describe new advances in the understanding of Bayes posterior computation as well as theoretical contributions in non parametric and high dimensional Bayesian approaches. From an applied point of view, we describe the so-called sqmc particle method to compute posterior Bayesian law, and provide a nonparametric analysis of the widespread abc method. On the theoretical side, we describe some recent advances in Bayesian consistency for a nonparametric hidden Markov model as well as new pac-Bayesian results for different models of high dimensional regression.

Résumé

Nous proposons dans cet article une vue d’ensemble de récents développements en statistique bayésiennes en grande dimension. Après quelques motivations rappelées en introduction, nous présentons des avancées à la fois algorithmiques et dans la compréhension théorique de méthodes de calculs d’a posteriori bayésiens. En particulier, nous décrivons l’algorithme particulaire sqmc et proposons un point de vue non-paramétrique sur la méthode populaire abc. Nous revenons ensuite également sur des contributions nouvelles en statistiques bayésiennes non paramétriques et en grandes dimensions. Dans ce contexte, nous décrivons des résultats de consistance bayésienne a posteriori pour des modèles non-paramétriques de Markov cachés ainsi que des résultats pac-bayésiens pour différents modèles de régression.