Intégration du raisonnement numérique dans les modèles de

langue : État de l’art et direction de recherche

Sarah Abchiche Lynda Said Lhadj Laure Soulier Vincent Guigue

Contexte et problématique
il s'agit de doter les modèles de langues de compétences numériques afin de pouvoir Weighted average actuarial assumptions used at 31 March1:
effectuer des opérations telles que l'addition ou la soustraction sur des nombres et ceci
dans le but de détecter des relations numériques qui pourrait améliorer de nombreuses 2019 2018 2017

taches comme le question answering ou le data to text. Rate of inflation 2.3 2.9 3.0

Rate of Increase in salaries 2.7 2.7 2.6

Passage : Taunton has four art galleries... Hughes/Donahue Gallery founded in
2007, a local community gallery serving local Taunton artists... Art Euphoric Discount rate 2.3 2.5 2.6

founded in 2008 has both visual and craft exhibits...

Question : How many years after founding of Hughes/ Donahue was Art Euphoric Question : What is the average rate of inflation for 2019 and 2018?
founded?
Réponse : 2008 - 2007 = 1 Réponse : (2.3 + 2.9) / 2 =

Difficultés du RN dans les LLMs

Pour répondre, il faut :
Le raisonnement numérique en DTG est une tâche particulièrement difficile [5, 6] car le 1. Comprendre le contexte du tableau à savoir les hypothèses actuarielles moyennes
modèle doit pondérées.
1. Comprendre les scénarios complexes décrits dans les données, 2. Comprendre et extraire les éléments clés de la questions : average, rate of
2. Trouver l'enchaînement des opérations nécessaires, inflation, 2018 et 2019.
3. Identifier les variables mathématiques et associer le texte à la logique des équations 3. Identifier les valeur associées à ces éléments : 2.3, 2.9
mathématiques, 4. Identifier l’enchaînement des opérations nécessaires : addition suivi de division
4. Projeter les données vers un espace sémantique (ou un système) différent pour 5. Projeter les données vers un espace sémantique différent pour effectuer les
effectuer les calculs. calculs.
5. Et enfin produire le résultat attendu et/ou générer la réponse en langage naturel. 6. Et enfin produire le résultat attendu : (2.3 + 2.9) / 2 = 2.6

Etat de l'art Approches RN

Architectures spécifiques Modèles de langues pré-entrainés

Les modèles suivent tous le même pipeline : Exploit de nouvelles données Calculateur externe
un module d'encodage,
un module de raisonnement, Pré-entrainement des modèles de langues (BERT, T5, ...) : Nouvelle direction pour le raisonnement numérique
un module de sortie avec une couche pour chaque type ( span,
équation numérique,..) Générer un ensemble d’instructions –ie un programme– qui sera
sur des données synthétiques numériques interprété par un calculateur externe.
Comme des expressions arithmétiques associées à La production du résultat final (e.g. manipulation des nombres,
leurs résultats calculs) est ainsi déléguée à un outil existant.
2
5
Les exemples les plus concret sont Toolformer (Schick et al,
(Geva et al., 2020)
2023) et BHASKARA (Mishra et al, 2022)
4
3
Question

Noeuds pertinents avec différentes données et configurations

5
5
5

Question span Problem: Before December, customers buy 1346 ear

.. 5 Jeu de données numériques + textuelles,
muffs from the mall. During December, they buy 6444,
Self attention

Feed forward

.
Convolution

2
.. Passage span
Réponse
Attention

.. . Données synthétiques + Jeu de données spécifique,

.. . 4
Arithmetic Multi tache, ... and there are none. In all, how many ear muffs do the
. 3
..
.
(Yang et al., 2021) customers buy?
2

2
2

Propagation d'informations Answer type

Generated Program:
Passage

4
4

5
2
Module d'encodage Module de prédiction sur des programmes et leurs résultats answer = 1346.0 + 6444.0
4
3 print (answer)
3

3
3

programmes (maths, logique, SQL) associées à # Result == > 7790.0

Mise à jour des
représentations leurs résultats d’exécution
(Pi et al., 2022)
Module de raisonnement
Limites :
Architectures de NumNet (Ran et al., 2019) Travaux très préliminaire :
Toolformer considère seulement une calculatrice pour le
raisonnement.
Limite : incapacité à effectuer des calculs complexes. Bhaskara est faible sur les problèmes avancés.

Pistes de recherche
Modèles de langues pour le raisonnement numérique Application à la génération Data-to-text
Génération de chaîne de raisonnement Intégration du modèle de génération de chaîne de raisonnement
Génération de la chaîne de raisonnement, avec et sans transfert.
Afin de nourrir un modèle de langue chargé de génération de
Délégation du calcul numérique à des calculateurs externes.
résumés textuels.

Language model Génération de texte à partir de données - Data-to-text

Calculatrice
Input Output
Canada has got 3 gold medals in
Nation Gold Medal Silver Medal
the tournament.
Tool augmented language model
Code Canada 3 1
Input Tool Input Tool Output Output Mexico got 3 silver medals and 2
Mexico 2 3
gold medals.
API call Append
external tool Résumés basés sur du raisonnement numérique
tool result

3-2=1 Canada obtained 1 more gold medal than Mexico.