FPT-4 — Floating-Point Transformer 4

L'avènement des grands modèles de langage suscite beaucoup d’intérêt en raison de leur potentiel avéré. Cependant, l’étude de leur impact dans le monde du calcul numérique reste limitée. Bien qu'il existe des projets et outils conçus pour détecter les anomalies numériques (ex : InterFLOP, CADNA, VERROU VERIFICARLO, PENE) ou pour garantir la précision et la robustesse (ex : FLDLib, Fluctuat), ces outils reposent encore largement sur le travail de l’expert. L'émergence de nouveaux formats flottants en très faible précision promet d’important gains en termes de FLOP par watt, mais les travaux de recherche relatifs à ces formats restent limitées, à l'exception de l'arrondi aléatoire ou de la précision mixte dans le cas les routines d'algèbre linéaire. Sachant que toutes modifications du format de représentation des nombres flottants peut avoir un impact sur les résultats calculés, nous proposons de tirer parti des IA génératives pour accompagner les développeurs HPC et les experts numériques dans la transformation des codes legacy en ciblant la réduction de la précision. L’objectif est de réduire les besoins en puissance de calcul tout en garantissant l'exactitude des résultats. En analysant les codes existants, nous doterons un modèle de langage étendu de la connaissance numérique nécessaire afin d'identifier les possibilités de réduction de la précision et suggérer des modifications de code. Nous proposons d'explorer comment l'apprentissage statistique pourrait accompagner la transition vers le calcul frugal et faire en sorte que les algorithmes relatifs à la précision mixte reste adaptés aux flottants à très faible précision, sans pour autant sacrifier l'intégrité des calculs et ce grâce à l'utilisation d'algorithmes certifiés lorsque nécessaire. Cette approche favorisera ainsi des solutions durables et économes en énergie sans pour autant compromettre les objectifs en termes de fiabilité des calculs.