Programme

Jeudi 12 Janvier 2023, 09h-16h30, Amphi Hermite, Institut Henri Poincaré

09h-09h15 Accueil

09h15-11h00 Mini-cours de Vincent Rivoirard : Statistique en grandes dimensions via la sélection de modèles

Lien vers la vidéo

Résumé : Ce mini-cours propose un tour d’horizon des approches les plus classiques pour traiter des problématiques d’estimation de paramètres et de sélection de variables en grande dimension. La première partie de l’exposé s’attachera à expliquer les difficultés inhérentes à la grande dimension et les raisons qui mettent en échec les méthodes de la statistique classique. Lorsque la dimension reste modérée, une première approche consiste à s'appuyer sur la minimisation de critères pénalisés où la pénalité est proportionnelle à la dimension. Optimale d’un point de vue théorique, cette approche s’avère trop coûteuse d’un point de vue computationnel lorsque la dimension est très grande. Dans la seconde partie de cet exposé, nous proposerons alors les alternatives qui s’appuient sur la minimisation de critères convexes adaptées au cadre où la dimension est très grande. Une attention particulière sera portée à l’estimateur lasso, correspondant à une pénalité $\ell_1$ et à quelques unes de ses nombreuses variantes. Pour faciliter la présentation des méthodologies et des résultats théoriques associés, nous nous placerons dans le cadre simple du modèle linéaire. Néanmoins dans la dernière partie de cet exposé, nous présenterons la construction d’estimateurs Lasso et Group-Lasso spécifiques à la régression fonctionnelle poissonnienne. C’est un travail réalisé en collaboration avec Stéphane Ivanoff et Franck Picard.

11h00-11h30 Pause Café

11h30-12h30 Exposé de Clémentine Prieur : (Non)linear dimension reduction of input parameter space using gradient information

Résumé : Many problems that arise in uncertainty quantification, e.g., integrating or approximating multivariate functions, suffer from the curse of dimensionality. The cost of computing a sufficiently accurate approximation grows indeed dramatically with the dimension of the input parameter space. It thus seems important to identify and exploit some notion of low-dimensional structure as, e.g., the intrinsic dimension of the model. A function varying primarily along a a low dimensional manifold embedded in the high-dimensional input parameter space is said of low intrinsic dimension. In that setting, algorithms for quantifying uncertainty focusing on the most relevant features of input parameter space are expected to reduce the overall cost. Our presentation goes from global sensitivity analysis to (non)linear gradient-based dimension reduction, generalizing the active subspace methodology.

12h30-14h30 Pause Déjeuner

14h30-15h30 Exposé de Marie Chavent : Approche bloc pour la sélection de variables en ACP sparse et group-sparse

15h30-16h30 Exposé de Franck Picard : A probabilistic Graph Coupling View of Dimension Reduction

Résumé : Dimension reduction is a standard task in machine learning, to reduce the complexity and represent the data at hand. Many (and more than many!) methods have been proposed for this purpose, among which the seminal principal component analysis (PCA), that approximates the data linearly with a reduced number of axes. In recent years, the field has witness the emergence of new non linear methods, like the Stochastic Neighbor Embedding method (SNE) and the Uniform Manifold Approximation and Projection method (UMAP), that proposes very efficient low-dimensional representations of the observations. Though widely used, these approaches lack clear probabilistic foundations to enable a full understanding of their properties and limitations. A common feature of these techniques is to be based on a minimization of a cost between input and latent pairwise similarities, but the generative model is still missing. In this work we introduce a unifying statistical framework based on the coupling of hidden graphs using cross entropy. These graphs induce a Markov random field dependency structure among the observations in both input and latent spaces. We show that existing pairwise similarity dimension reduction methods can be retrieved from our framework with particular choices of priors for the graphs. Moreover this reveals that these methods suffer from a statistical deficiency that explains poor performances in conserving coarse-grain dependencies. Our model is leveraged and extended to address this issue while new links are drawn with Laplacian eigenmaps and PCA.