Modèles acoustiques et reconnaissance automatique de

la parole pour la langue tupuri : Approche hybride

basée sur HMM et Transformers
Nom de l’Auteur

Abstract
Cet article propose une approche innovante pour améliorer la reconnaissance
automatique de la parole (RAP) de la langue tupuri, une langue sous-représentée.
L’approche utilise un système hybride combinant les modèles de Markov cachés
(HMM) et les modèles de Transformers pour la modélisation des séquences. Ce
système est renforcé par des réseaux neuronaux convolutifs et un apprentissage
auto-supervisé. Les résultats montrent une amélioration significative de la précision
de la reconnaissance vocale par rapport aux méthodes traditionnelles.

1 Introduction
La reconnaissance automatique de la parole (RAP) pour les langues sous-représentées
présente des défis uniques en raison du manque de données et des structures linguistiques
complexes. La langue tupuri, parlée en Afrique centrale, se distingue par des distinc-
tions phonétiques telles que les voyelles longues, courtes et nasales, rendant la tâche
de modélisation acoustique particulièrement complexe. Les approches traditionnelles,
telles que les HMM seuls ou les réseaux neuronaux simples, ont montré des limites dans
la modélisation des relations complexes entre les sons. Ce travail vise à combiner les
avantages des modèles de Markov cachés et des Transformers pour capturer à la fois les
relations temporelles locales et globales dans les données acoustiques du tupuri.

2 Méthodologie
2.1 Analyse acoustique et phonétique de la langue tupuri
L’analyse acoustique s’est concentrée sur l’étude des caractéristiques spectrales des voyelles
et des consonnes du tupuri. Nous avons utilisé la transformée de Fourier pour décomposer
les sons en fréquences élémentaires et identifier les formants. La fréquence fondamentale
moyenne des locuteurs tupuri a été mesurée à 209,58 Hz, avec une variation limitée, soulig-
nant une stabilité prosodique. Des différences significatives entre les voyelles longues et
nasales ont été observées, ce qui justifie l’adoption de modèles plus complexes.

2.2 Prétraitement des données

Collecte des données Les enregistrements proviennent de sources comme la radio
Daana et des corpus en ligne. Le contrôle de l’environnement de collecte a permis de

1
minimiser les bruits de fond.

Suppression des bruits Nous avons utilisé un algorithme de factorisation de matrice

non-négative (NMF) pour séparer la parole du bruit. L’algorithme décompose le signal
audio en plusieurs composantes, permettant une meilleure qualité de la parole collectée.

Normalisation du volume La normalisation a été réalisée via la puissance RMS,

assurant une uniformisation du niveau sonore à travers les enregistrements.

3 Segmentation de la parole
Pour le traitement du signal sonore pour le tupuri. on va découper l’enregistrement
sonore en unités temporelles plus petites, telles que des mots, des phrases ou des syllabes.
Cette procédure est fondamentale pour l’analyse et la reconnaissance de la parole, car
elle permet d’isoler des segments spécifiques du signal pour un traitement ultérieur. La
segmentation temporelle est représentée par la formule suivante :
N
X
S(t) = Si (t) · χ[ti ,ti+1 ) (t) (1)
i=1

S(t) désigne le signal sonore original en fonction du temps t, tandis que Si (t) représente
le i-ème segment du signal sonore. La fonction indicatrice χ[ti ,ti+1 ) (t) est définie comme :
(
1 si t ∈ [ti , ti+1 )
χ[ti ,ti+1 ) (t) = (2)
0 sinon

Les points de segmentation ti et ti+1 déterminent les frontières temporelles de chaque

segment. Ainsi, S(t) est décomposé en une somme de segments Si (t), chacun étant actif
uniquement dans son intervalle temporel respectif défini par la fonction indicatrice. Cette
décomposition permet d’analyser et de traiter chaque segment individuellement, facilitant
ainsi des tâches telles que la reconnaissance de mots ou la détection de phrases dans le
signal sonore.
La détection de silence d’identifier les périodes de silence entre les segments de parole.
Cette méthode repose sur des algorithmes qui détectent les silences en identifiant les
périodes où le niveau sonore est inférieur à un certain seuil prédéfini. Cependant, cette
technique peut présenter des défis spécifiques pour des langues comme le tupuri, en raison
de sa morphologie. En effet, dans la prononciation de certains mots en tupuri, les silences
sont souvent imperceptibles, rendant la détection difficile, surtout pour les locuteurs
natifs.
la détection de silence peut être formulée comme suit :
(
1 si S(t) < θ
Ssilence (t) = (3)
0 sinon
où : - S(t) est le niveau sonore à l’instant t. - θ est le seuil prédéfini pour détecter le
silence. - Ssilence (t) est une fonction indicatrice qui vaut 1 si le niveau sonore est inférieur
au seuil θ, indiquant ainsi un silence, et 0 sinon.

2
 nous segementons le signal sonore en périodes de silence et de parole, facilitant ainsi
l’analyse des segments de parole isolés.
a coupure de parole automatique est une technique qui utilise des modèles de recon-
naissance de la parole pour détecter les transitions entre les mots dans un enregistrement
sonore. Cette méthode permet de segmenter un discours continu en unités linguistiques
distinctes, facilitant ainsi des analyses plus précises et une reconnaissance vocale plus
efficace. Les modèles de reconnaissance de la parole identifient les points de transition
entre les mots en analysant les caractéristiques acoustiques et les variations dans le signal
sonore.
Cette technique est représentée par la détection de points de transition Ti dans un
signal sonore S(t), où chaque transition correspond à une coupure entre deux mots.

Ti = {t | P (Wt | S(t)) > τ } (4)

où : - Ti est l’ensemble des points de transition détectés. - t représente le temps. -
P (Wt | S(t)) est la probabilité du mot Wt donné le signal sonore S(t) à l’instant t. - τ
est un seuil prédéfini pour décider si une transition est détectée.
Cela signifie que nous détectons une transition Ti à l’instant t si la probabilité du mot
actuel donné le signal sonore dépasse un certain seuil τ .

3.1 Segmentation de la parole tupuri avec le réseau de neurones

à convolution
3.1.1 Architecture du modèle
Le modèle est un réseau de neurones convolutif ; il prend en entrée des données dont le
nombre d’échantillons peut varier, comme l’illustre la figure 4.5.

Entrée ... Convolution ReLU PoolingFully Connected

Softmax / Sortie

X1 Conv1 ReLU1 Pool1

X2 Conv2 ReLU2 Pool2 Fully Connected Softmax

Xn Convn ReLUn Pooln

Figure 1: Architecture d’un Réseau de Neurones Convolutif

• La couche de convolution 1D utilisée dans notre modèle de réseau de neurones.

Cette couche est configurée avec 64 filtres et une fenêtre de convolution de taille 3.
La convolution est une opération qui applique chaque filtre à différentes parties des
données d’entrée, en déplaçant la fenêtre de convolution le long de l’entrée. Cela
permet de produire 64 nouvelles caractéristiques, qui servent ensuite d’entrées pour
les couches suivantes du réseau.

3
La sortie y d’un filtre de convolution 1D est définie comme suit :
K−1
X
y(t) = x(t + k) · wk + b
k=0

où x est l’entrée, w représente les poids du filtre, b est le biais, et K est la taille de
la fenêtre de convolution (ici, K = 3).
La fonction d’activation utilisée est la fonction ReLU (Rectified Linear Unit), définie
par :
f (x) = max(0, x)
La fonction ReLU est appliquée à la sortie de chaque convolution pour introduire
la non-linéarité dans le modèle. Elle renvoie la valeur x si x est supérieur à 0 et 0
sinon.
Ainsi, la sortie finale de la couche de convolution avec la fonction d’activation ReLU
peut être écrite comme :

y ′ (t) = f (y(t)) = max(0, y(t))

4 Apprentisage auto supervisé pour la molélisation

acoustique du tupuri
la modèlisation acoustique du tupuri nous utilisons l’apprentissage auto-supervisé
multi-tâches (Multi-Task Self-Supervised Learning, MTSSL) qui a l’avantage d’apprendre
des représentations utiles en optimisant simultanément plusieurs tâches auto-supervisées
qui sont

– Prédire la prochaine syllabe, incluant les phonèmes et les tons.

– Classifier la structure des syllabes spécifiques à la langue Tupuri.
– Classifier les patterns tonaux sur des fenêtres temporelles de différentes tailles.
– Identifier les catégories grammaticales des mots dans le signal audio.
– Détecter les frontières morphologiques entre les racines et les affixes dans les
mots.

4.1 Structure Générale du Modèle

Le modèle auto-supervisé multi-tâches comprend les composants suivants :

1. Un encodeur pour extraire des représentations latentes du signal audio brut.

2. Plusieurs réseaux de prédiction pour les différentes tâches auto-supervisées.
3. Des fonctions de perte spécifiques à chaque tâche pour guider l’apprentissage.

le schéma ci dessous présente le modèle que nous allons utiliser.

4
4.2 Composants du Modèle
4.2.1 Encodeur fθ

– Entrée : Signal audio brut x ∈ RT .

– Sortie :Représentations latentes z = [z1 , z2 , . . . , zT ′ ] où T ′ ≤ T .
– Structure : Utilise des couches convolutionnelles pour capturer les caractéristiques
locales du signal audio.

z = fθ (x)

4.2.2 Réseau de Réduction de Dimension gϕ

– Entrée : Représentations latentes z.

– Sortie : Représentations réduites c = [c1 , c2 , . . . , cT ′ ].
– Structure : Une couche de projection.

c = gϕ (z)

4.2.3 Réseau Autoregressif hψ

– Entrée : Séquence de représentations réduites c.

– Sortie : Contexte ct à chaque position temporelle t.
– Structure :Utilise des couches récurrentes de types LSTM pour capturer le
contexte temporel.

ct = hψ (c1 , c2 , . . . , ct )

4.3 Fonction de Perte Globale

La fonction de perte globale combine les pertes des différentes tâches auto-supervisées,
pondérées par des hyperparamètres.

L(θ, ϕ, ψ) = λsyllabe Lsyllabe (θ, ϕ) + λstructure Lstructure (θ, ϕ)

+ λtonal Ltonal (θ, ϕ) + λgrammaire Lgrammaire (θ, ϕ)
+ λmorpho Lmorpho (θ, ϕ)

où λsyllabe , λstructure , λtonal , λgrammaire , et λmorpho sont des hyperparamètres de pondération
pour chaque tâche.

5
Algorithm 1 l’algorithme d’entrainement du modèle
Initialiser θ, ϕ1 , ϕ2 , ϕ3 , ϕ4 , ϕ5 chaque epoch chaque batch de données non étiquetées
x Calculer z = fθ (x) chaque tâche i Calculer la prédiction gϕi i (z) Calculer la perte
Li Calculer Ltotal et les termes de régularisation Mettre à jour α1 , . . . , α5 selon la
formule de pondération dynamique Calculer Lf inal Mettre à jour θ, ϕ1 , ϕ2 , ϕ3 , ϕ4 , ϕ5
par descente de gradient sur Lf inal

5 approche combinée des Modélisation des Séquences

HMM et de l’apprentissage auto supervisé
L’approche optée pour modélisation acoustique du tupuri ici est de combiner l’utilisation
des transformer avec un modèle de Markov caché(HMM). Les transformers sont per-
formants pour modéliser des dépendances à longue portée grâce à leurs mécanismes
d’attention, mais ils ne prennent pas naturellement en compte la nature séquentielle
des processus de Markov. En effet, les transformers traitent les séquences comme
des ensembles ordonnés de vecteurs, sans imposer explicitement de relation de tran-
sition entre états successifs. Cela peut devenir problématique lorsqu’il est crucial de
modéliser explicitement l’ordre temporel ou de gérer des dépendances probabilistes
complexes sur plusieurs échelles temporelles. En revanche, un HMM excelle dans la
modélisation séquentielle probabiliste, mais il repose sur des assumptions simplifi-
catrices, telles que l’hypothèse de Markov d’ordre 1, où seul l’état courant dépend
de l’état précédent. Cela limite sa capacité à capturer des dépendances à longue
portée.
L’idée de combiner les deux modèles est d’utiliser un transformer pour apprendre
des représentations informatives (observations) qui seront ensuite exploitées par un
HMM pour modéliser la dynamique temporelle des états sous-jacents.
L’intégration d’un transformer avec un HMM se fait en deux étapes :

1. Apprentissage des représentations contextuelles : Le transformer ex-

trait des représentations riches à partir du signal audio.
2. Modélisation séquentielle avec le HMM : Ces représentations sont utilisées
comme observations par le HMM, qui modélise la séquence temporelle sous
forme probabiliste.

5.1 Sortie du Transformer : Représentations contextuelles

Soit X = (x1 , x2 , . . . , xT ) une séquence audio brute d’entrée. Après traitement par
le transformer, on obtient une séquence de vecteurs contextuels C = (c1 , c2 , . . . , cL ),
avec L < T . Chaque vecteur ci ∈ Rd résume l’information capturée à l’instant i.
Ces vecteurs sont interprétés comme observations émissives dans le cadre du
HMM.

6
5.2 Modèle HMM avec les Représentations du Transformer
Le HMM repose sur un ensemble d’états cachés S = {s1 , s2 , . . . , sN }. À chaque
instant t, l’état est noté st ∈ S et suit une distribution de transition :

P (st |st−1 ) = ast−1 ,st ,

où ast−1 ,st est la probabilité de transition de l’état st−1 à l’état st .

Les vecteurs C = (c1 , . . . , cL ) produits par le transformer sont utilisés comme ob-
servations. La distribution d’émission associée à chaque état st est :

P (ct |st ) = N (ct |µst , Σst ),

où N (·|µst , Σst ) est une distribution gaussienne avec une moyenne µst et une matrice
de covariance Σst .

6 Entraı̂nement et Décodage dans l’Architecture

Hybride Transformer-HMM

6.1 Phase de Pré-entraı̂nement du Transformer

Le transformer est pré-entraı̂né sur des données non étiquetées via un apprentissage
auto-supervisé, avec une tâche de prédiction de parties masquées. Une fois entraı̂né,
il produit des représentations contextuelles C = (c1 , . . . , cL ).

6.2 Entraı̂nement du HMM

Le HMM utilise ces représentations pour estimer ses paramètres via l algorithme
Expectation-Maximization (EM). L’objectif est de maximiser la vraisemblance :
X
max log P (ct |st ; θ)P (st |st−1 ; θ),
θ
t

où θ est l’ensemble des paramètres du HMM.

6.3 Décodage avec l’Algorithme de Viterbi

Lors du décodage, l’objectif est de trouver la séquence d’états cachés la plus probable
S = (s1 , . . . , sL ) donnée les observations C = (c1 , . . . , cL ) :

S ∗ = arg max P (S|C).

S

7
 7 Evaluations des modèles

7.1 Evaluation du modèle de segmentation

7.2 Evaluation du modèle acoustique

7.2.1 evaluation de WER(Word Error Rate)

Les graphiques ci-dessous présentent la progression de chaque modèle au fil des

époques.

30
30

WER (%)
WER (%)

20
20

10
10 0 5 10 15 20
0 5 10 15 20 Epochs seul
Transformer
Epochs
HMM seul
(b) Courbe d’apprentissage du Transformer
(a) Courbe d’apprentissage du HMM seul seul

30
WER (%)

20

10
0 5 10 15 20
Epochs
Transformer + HMM (hybride)
(c) Courbe d’apprentissage du modèle
Transformer-HMM hybride

Figure 2: Graphiques séparés des courbes d’apprentissage pour chaque modèle

– HMM seul (Figure 2a): Ce modèle atteint un plateau à **19,8% de WER

après 20 époques. Bien que le HMM soit performant dans la modélisation
des transitions locales, il montre une **limite importante dans la capture
des dépendances à long terme, particulièrement nécessaires pour une langue
comme le tupuri.

8
 – Transformer seul (Figure 2b): Le Transformer converge plus rapidement
que le HMM et atteint un WER de 12,5% après 20 époques. Cependant, son
efficacité reste limitée lorsqu’il s’agit de modéliser les transitions acoustiques
fines, un aspect critique dans les langues où les phonèmes se chevauchent
fortement.
– Transformer + HMM (hybride) (Figure 2c): Le modèle hybride montre la
meilleure performance avec un WER de 10,4% après 20 époques. La **synergie
entre les deux architectures** permet de combiner les forces du Transformer et
du HMM, offrant ainsi une modélisation plus robuste des séquences acoustiques
complexes.

35

30
WER (%)

25

20

15

10
0 2 4 6 8 10 12 14 16 18 20
Epochs
HMM seul Transformer seul Transformer + HMM (hybride)

Figure 3: Courbe d’apprentissage globale comparant les performances des trois modèles

Nous estimons également le temps d’exécution et les ressources requises pour chaque
modèle sur des processeurs de types GPU:

Modèle Temps total (min) Mémoire GPU (GB)

HMM 40mn 16
Transformer 2h17mn 16
Transformer-HMM (hybride) 2h28mn 16

Table 1: Temps d’exécution et ressources requises pour chaque modèle

le modèle de Markov caché(HMM) seul est plus rapide, cependant, sa performance

limitée justifie son utilisation uniquement pour des tâches simples. Le Transformer
demande une puissance de calcul plus élevée, ce qui peut poser des problèmes de
scalabilité. Le modèle Transformer-HMM hybride est le plus performant, Cette
approche est adaptée lorsque la précision est une priorité; c’est le cas des langues
sous-représentées dans le numérique.

9
 7.2.2 evaluation de PER(

Phoneme Error Rate) Les graphiques ci-dessous présentent la progression du taux

d’erreur pour la reconnaissance automatique du tupuri en fonction du nombre
d’époques pour nos modèles.

30 30
Taux d’erreur (%)

Taux d’erreur (%)

20 20

10 10

0 0
5 10 15 20 5 10 15 20
Epochs Epochs
(a) HMM simple (b) Transformer seul

30
Taux d’erreur (%)

20

10

0
2 4 6 8 10 12 14 16 18 20
Epochs
(c) Transformer-HMM hybride

Figure 4: Comparaison des performances des trois modèles : HMM, Transformer seul, et
Transformer-HMM hybride

Le modèle HMM simple commence avec un taux d’erreur initial relativement élevé
(25,5 %). Bien que l’erreur diminue au fil des époques, elle se stabilise autour de
18,7 % après 20 époques, ce qui reflète une capacité limitée à capturer la complexité
des relations acoustiques sur de longues séquences temporelles.
Cette performance est attendue étant donné que les HMMs reposent sur l’hypothèse
de Markov d’ordre 1, où chaque état dépend uniquement de l’état précédent. En
conséquence, ils peinent à modéliser des dépendances de longue portée, cruciales
dans des langues riches en coarticulations ou morphophonologies complexes, telles
que le tupuri. Le plateau observé après une dizaine d’époques révèle que le modèle
atteint rapidement ses limites

10
 Le Transformer seul démarre avec un taux d’erreur inférieur à celui du HMM (20,5
% contre 25,5 %). Sa performance s’améliore régulièrement jusqu’à atteindre 13,1
% après 20 époques. Le Transformer se distingue par sa capacité à capturer des
relations globales dans les séquences grâce à son mécanisme d’attention, qui permet
d’exploiter simultanément toutes les positions dans la séquence d’entrée.
Le modèle Transformer-HMM hybride démontre des performances remarquables,
avec une erreur initiale de 15,3 %, rapidement réduite à 8,7 % après 20 époques.
Cette architecture bénéficie de la complémentarité entre le HMM et le Transformer
:

– Le HMM capture efficacement les transitions acoustiques locales et modélise

la séquentialité stricte.
– Le Transformer exploite des dépendances à longue portée, permettant une
meilleure compréhension contextuelle.

Cette synergie est particulièrement précieuse pour la langue tupuri, où les structures
morphophonologiques complexes nécessitent à la fois une gestion fine des transitions
et une contextualisation plus large des phonèmes ou des mots. La performance
supérieure du modèle hybride confirme que la combinaison des deux paradigmes
permet une modélisation plus robuste et générale.

30

25
Taux d’erreur (%)

20

15

10

0
2 4 6 8 10 12 14 16 18 20
Epochs
HMM seul Transformer seul Transformer-HMM hybride

Figure 5: Courbe d’apprentissage globale comparant les performances des trois modèles

Les résultats montrent que l’intégration synergique de modèles séquentiels et non

séquentiels permet d’améliorer la reconnaissance de la parole, particulièrement dans
des contextes linguistiques complexes. Le modèle Transformer-HMM hybride se
distingue comme la solution la plus robuste, avec un taux d’erreur final de 8,7 %,
ce qui reflète une modélisation fine des dynamiques acoustiques.

11
7.3 Interprétation des résultats
Les résultats montrent que l’approche hybride surpasse les deux modèles individuels.
La combinaison des Transformers, qui capturent les dépendances globales, et des
HMM, qui gèrent les transitions locales, offre une modélisation plus robuste des
séquences acoustiques. Les modèles individuels, bien que performants, présentent
des limitations lorsqu’ils sont utilisés seuls, en raison de la nature complexe des
relations phonétiques dans la langue tupuri.

8 Discussion
L’approche hybride est particulièrement utile pour les langues à faible ressource
comme le tupuri. Les résultats montrent que l’architecture combinée améliore la
précision en exploitant les forces complémentaires des HMM et des Transformers.
Cependant, des défis subsistent, tels que la scalabilité de l’approche et l’optimisation
des ressources. Les futures recherches devraient explorer l’amélioration de l’architecture
et l’intégration d’un apprentissage plus supervisé.

9 Conclusion
Ce travail met en lumière l’efficacité d’une approche hybride combinant les modèles
de Markov cachés (HMM) et les Transformers pour améliorer la reconnaissance
automatique de la parole (RAP) de la langue tupuri. Cette méthode démontre que
l’intégration de modèles séquentiels probabilistes et de modèles de représentation
contextuelle permet de mieux capturer les complexités linguistiques et phonétiques
propres à cette langue sous-représentée.
Les résultats expérimentaux ont montré que le modèle hybride surpasse les ap-
proches traditionnelles, en offrant une meilleure précision dans la modélisation des
séquences acoustiques et en réduisant significativement le taux d’erreur de recon-
naissance. La complémentarité des HMM, qui excelle dans la modélisation des
transitions locales, et des Transformers, capables de capturer les dépendances à
longue portée, représente une solution robuste et innovante pour la modélisation
acoustique du tupuri.
Cependant, ce travail met également en avant certains défis, notamment en ter-
mes de scalabilité et d’optimisation des ressources. Pour les futures recherches, il
serait pertinent d’explorer des méthodes d’apprentissage plus supervisé, d’optimiser
l’architecture hybride et de tester son application sur d’autres langues sous-représentées.
En conclusion, l’approche proposée démontre le potentiel des modèles hybrides pour
relever les défis de la reconnaissance de la parole dans des contextes linguistiques
complexes, ouvrant ainsi la voie à de nouvelles avancées dans la prise en charge des
langues à faible ressource.

12