Volume-preserving transformers for learning time series data with structure

¹ Max-Planck-Institut für Plasmaphysik, Boltzmannstraße 2, 85748 Garching
² Zentrum Mathematik, Technische Universität München, Boltzmannstraße 3, 85748 Garching, Germany
³ DAAA, ONERA, Université Paris Saclay, F-92322, Chatillon, France
⁴ Arts et Métiers Institute of Technology, Paris, France

Abstract

Two of the many trends in neural network research of the past few years have been (i) the learning of dynamical systems, especially with recurrent neural networks such as long short-term memory networks (LSTMs) and (ii) the introduction of transformer neural networks for natural language processing (NLP) tasks.

While some work has been performed on the intersection of these two trends, those efforts were largely limited to using the vanilla transformer directly without adjusting its architecture for the setting of a physical system.

In this work we develop a transformer-inspired neural network and use it to learn a dynamical system. We (for the first time) change the activation function of the attention layer to imbue the transformer with structure-preserving properties to improve long-term stability. This is shown to be of great advantage when applying the neural network to learning the trajectory of a rigid body.

Résumé

Deux des nombreuses tendances de la recherche sur les réseaux de neurones de ces dernières années ont été (i) l’apprentissage des systèmes dynamiques, en particulier avec les réseaux de neurones récurrents tels que les ’Long Short Term Memory’ (LSTM) et (ii) l’introduction de réseaux de neurones de type ’transformers’ pour le traitement du langage naturel (NLP).

Bien que certains travaux aient été réalisés à l’intersection de ces deux tendances, ils se sont largement limités à l’utilisation directe du transformer vanilla sans adapter son architecture à la configuration d’un système physique.

Dans ce travail, nous utilisons un réseau de neurones inspiré d’un transformer pour apprendre un système dynamique et, de plus (pour la première fois), nous changeons la fonction d’activation du niveau d’attention afin de lui conférer des propriétés de préservation de la structure dans le but d’améliorer sa stabilité à long terme. Ces propriétés s’avèrent extrêmement importantes lors de l’application du réseau de neurone à la trajectoire d’un corps rigide.