Efficient approximations of the fisher matrix in neural networks using kronecker product singular value decomposition

¹ IFP Energies nouvelles, 1 et 4 avenue de Bois Préau, 92852 Rueil-Malmaison Cedex, France
² CentraleSupélec – Université Paris-Saclay, 3 Rue Joliot Curie, 91190 Gif-sur-Yvette, France
³ Univ Rennes, INSA, CNRS, IRMAR - UMR 6625, F-35000 Rennes, France

Abstract

We design four novel approximations of the Fisher Information Matrix (FIM) that plays a central role in natural gradient descent methods for neural networks. The newly proposed approximations are aimed at improving Martens and Grosse’s Kronecker-factored block diagonal (KFAC) one. They rely on a direct minimization problem, the solution of which can be computed via the Kronecker product singular value decomposition technique. Experimental results on the three standard deep auto-encoder benchmarks showed that they provide more accurate approximations to the FIM. Furthermore, they outperform KFAC and state-of-the-art first-order methods in terms of optimization speed.

Résumé

Nous élaborons quatre nouvelles approximations de la matrice d’information de Fisher (FIM) qui joue un rôle central dans les méthodes de gradient naturel pour les réseaux de neurones. Les approximations proposées visent à améliorer celle introduite par Martens et Grosse qui est de type bloc diagonal avec factorisation de Kronecker (KFAC). Elles reposent sur un problème de minimisation directe, dont la solution peut être calculée par la technique de décomposition de la valeur singulière par produit de Kronecker. Les résultats expérimentaux sur les trois problèmes standards d’auto-encodeurs profonds ont montré qu’elles fournissent des approximations plus précises de la FIM. En outre, elles surpassent KFAC et les méthodes de premier ordre de l’état de l’art en termes de vitesse d’optimisation.