KADIRI Othman BELGHITI Zakariae
I.U.P G.M.I 2007/2008
Rapport de projet Projet : Reconnaissance de la parole
Rapport de projet
I.U.P G.M.I 2007-2008
Sommaire I - Objectif du projet .................................................................. 3 II - Le principe de fonctionnement ............................................. 3 1) Scénario du traitement ................................................................................................................................................... 3 2) Capture ........................................................................................................................................................................... 4 2) Paramétrisation .............................................................................................................................................................. 4 4) Identification .................................................................................................................................................................. 5 Reconnaissance par déformation temporelle dynamique (DTW) ................................................................................. 5 Reconnaissance par DTW et utilisation des coefficients Parcor .................................................................................... 7 Reconnaissance par DTW et utilisation des coefficients cepstraux ............................................................................... 7
III - Conclusion ........................................................................... 7
2
Rapport de projet
I.U.P G.M.I 2007-2008
I - Objectif du projet Le but du projet que nous allons décrire dans ce rapport consiste en la réalisation d’une étude sur la reconnaissance de la parole, le point intéressant étant l’implémentation de la technique de la DTW (Dynamic Time Warping). Nous allons pour cela implémenter plusieurs méthodes, afin de les étudier en termes de performance et de qualité de reconnaissance. En France, les recherches ont démarré vers 1970, et plusieurs laboratoires de recherches ont pu mettre aux point différents systèmes de reconnaissance vocale avec plus ou moins de succès, ces laboratoires mettant l’accent sur le support de reconnaissance : mots isolés, syllabes, grands vocabulaires…
II - Le principe de f onctionnement Une fois que le son a été émis par le locuteur, il est capté par un microphone. La problématique est de différencier et isoler les mots qui constituent le signal vocal car la voix humaine est constituée d’une multitude de sons, souvent répétitifs, l’analyse peut alors commencer. Avant de voir le scénario du traitement, il existe une phase d'apprentissage qui consiste à créer un dictionnaire de référence acoustique. Pour l’approche analytique, l'ordinateur demande à l 'utilisateur d'énoncer des phrases souvent dépourvues de toute signification, mais qui présentent l'intérêt de comporter des successions de phonèmes bien particuliers. Pour un système multi locuteur, cette phase n’existe pas, c’est la principale différence.
1) Scénario du traitement
3
Rapport de projet
I.U.P G.M.I 2007-2008
2) Capture On récupère le son à partir d’un microphone, grâce au logiciel « Audacity », avec une fréquence de 4000 Hz, on l’enregistre sous un format wav, pour pouvoir l’utiliser dans Matlab grâce à la fonction « wavread » qui permet de le tracer sous forme d’un signal vocale dans le rôle de l’analyser et de le paramétrer.
2) Paramétrisation Après avoir obtenue le son sous forme d’un signal vocal, on va l’échantillonner, cette étape consiste à paramétrer le signal vocal du locuteur pour obtenir une emprunte caractéristique du son, pour cela il existe plusieurs méthodes : •
Les méthodes spectrales : Elles sont fondées sur la décomposition fréquentielle du signal sans connaissance de sa structure. La plus utilisée est celle utilisant la transformée de Fourier FFT (Fast Fourier Transform).
•
Les méthodes d’identification : Elles sont fondées sur une connaissance des mécanismes de production (ex : le conduit vocal). La plus utilisée est celle basée sur le codage prédictif linéaire LPC.
Dans notre projet, nous allons utiliser cette deuxième méthode, basée sur l’analyse LPC afin d’obtenir les fréquences de résonance du conduit vocal qui correspondent à l’énergie maximal dans le spectre
Spectre obtenu par prédiction linéaire LPC
En répétant plusieurs fois cette méthode, on va obtenir l’empreinte du signal. Nous allons donc, prendre des tranches de 30 ms toutes les 10 ms, et à chacune de ces tranches nous allons appliquer une fenêtre de pondération de type Hamming en temporelle afin d’obtenir cette empreinte en fréquence.
Empreinte obtenue par prédiction linéaire (LPC)
Remarque : on a choisi de multiplier le signal par une fenêtre de pondération (Hamming) pour
4
Rapport de projet
I.U.P G.M.I 2007-2008
restreindre les lobes principaux de l’empreinte et réduire la hauteur des lobes secondaires. Le signal suite à ce traitement est sous une forme : • Temps • Fréquence • Intensité
4) Identification Après l’émission et le paramétrage du signal, les morceaux récupérer vont être comparé aux mots du dictionnaire en terme d'images acoustiques. L'algorithme de reconnaissance permet de choisir le mot le plus ressemblant, par calcul d'un taux de similitude - au sens d'une distance à définir - entre le mot prononcé et les diverses références. Ce calcul n'est pas simple, même pour un locuteur unique, car les mots, donc les formes, à comparer ont des durées et des rythmes différents. Donc pour résoudre le problème de l'alignement temporel entre un mot inconnu et une référence on utilise une méthode très efficace appelé DTW, algorithme de comparaison dynamique.
Reconnaissance par déformation temporelle dynamique (DTW) Objectif de la DTW : adapter au mieux l’algorithme à la parole, et tient compte des compressions et extensions temporelles qui sont observés lors de la prononciation plus ou moins rapide au sein d'un mot. Donc, le principe de base est d'essayer de trouver le chemin optimal à parcourir parmi l'ensemble des distances entre les vecteurs. Au départ, nous allons utiliser le calcul de la distance entre le vecteur de l’échantillon à tester et l’ensemble de vecteurs de références, en utilisant la formule de la distance euclidienne entre deux vecteurs :
Distance entre les extrémités P1 et P3 des vecteurs V1 et V3
5
Rapport de projet
I.U.P G.M.I 2007-2008
Ensuite nous allons créer une matrice M de dimension (N * J(k)) avec : N : nombre de vecteurs dans la séquence de test • •
J(k) : nombre de vecteur dans la séquence de r éf érence avec k le nombre d’enregistrement dans le dictionnaire.
A chaque entrée (n, j) de cette matrice on y associe la distance euclidienne d(xn, yjk) définie comme précédemment. Pour rechercher la meilleure distance D(X, Yk) entre la séquence de test X et la séquence de référence Yk, il suffit alors de rechercher le "chemin" dans cette matrice M de façon à minimiser la somme des distances locales rencontrées pour aller d'un point initial (1,1), correspondant au début des deux séquences, à un point final (N,J(k)), correspondant à la fin des deux séquences. On peut montrer que la distance optimale est obtenue en calculant, pour chaque entrée (n, j) la distance accumulée D(n, j) correspondant à la distance optimale que l'on obtient en comparant les deux sous-séquences correspondant aux n premiers vecteurs de test et aux j premiers vecteurs de référence. En vertu du principe de programmation dynamique, on peut alors facilement montrer que cette distance peut se calculer en utilisant la récurrence suivante :
D(n, j) = d(n, j) + min(p(n, j)) {D(p(n, j))} avec :
- p(n,j) : ensemble des prédécesseurs possibles de l'élément (n,j) - D(n,j) : distance globale - d(n,j) : distance locale (euclidienne)
Visualisation du cheminement de l’alignement temporel pour des formes de la base de référence.
Comme le montre le schéma de la figure, la forme choisie sera celle pour laquelle le chemin de mise en correspondance est le plus court, cette taille minimale marquant le peu de différences entre la forme à analyser et la forme de référence. Enfin le signal choisi parmi ceux du dictionnaire sera celui qui correspond au chemin le plus court, et en arrivant à cette partie, on atteint le but de la reconnaissance de la parole en utilisant l’algorithme de la DTW.
6
Rapport de projet
I.U.P G.M.I 2007-2008
Reconnaissance par DTW et utilisation des coefficients Parcor Dans le but d'améliorer la qualité du processus de reconnaissance, on va remplacer les coefficients ai par les ki qui sont en fait les coefficients Parcor (pour corrélation partielle). On va donc ainsi modifier la méthode de représentation de l'information. Pour cela, nous utiliserons la fonction " LPCAR2RF" que nous avons trouvé dans le site de Matlab. On calculera ensuite les distances par le DTW de manière identique à ce qui a été réalisé dans le paragraphe précédent. Les coefficients de Parcor présentent l'avantage d'avoir une plus petite sensibilité aux écarts que les ai. Ils proviennent de l'algorithme de Levinson et peuvent être interprétés physiquement comme le quotient de surfaces de tubes acoustiques en série formant le conduit vocal. Ces k ont plusieurs avantages. Tout d'abord ils doivent être bornés, entre +1 et -1. C'est une i
3
condition nécessaire et suffisante de stabilité du filtre AR . Ensuite, une variation de leur valeur (tout en restant dans les limites de stabilité) modifie peu la transmittance du filtre AR. Enfin, contrairement aux a i ils ont une signification physique. Ils représentent les rapports de surface entre les p tubes successifs qui simulent le conduit vocal dans le modèle LPC. Il existe une correspondance biunivoque entre ce type de coefficients (ki) et ceux de prédiction (ai) et peuvent donc être calculés à partir de ceux-ci et inversement. Tout ceci a pour conséquence d'améliorer la qualité de la reconnaissance quand elle est basée sur le calcul des ki puisque que l'on représente l'information sous une meilleure forme.
Reconnaissance par DTW et utilisation des coefficients cepstraux L'utilisation des coefficients cepstraux qui fait apparaître une nette amélioration de la reconnaissance de la parole en présence de bruit. C’est pour cela que nous avons choisi de travailler avec ces coefficients dans notre projet. On remplace les coefficients ai par les coefficients cepstraux, à savoir les Ci. Le cepstre est basé sur une connaissance du mécanisme de production de la parole. On part de l’hypothèse que la suite d'échantillons constituant le signal vocal est l e résultat de la convolution du signal de la source par le filtre correspondant au conduit. Il est possible, par un filtrage temporel (liftrage), de séparer dans le signal, la contribution de la source de celle du conduit. Les premiers coefficients cepstraux contiennent l’information relative au conduit. Cette contribution devient négligeable à partir d’un échantillon n0. Les pics périodiques visibles au-delà de n0, reflètent les impulsions de la source. On effectuera sous matlab une conversion des paramètres Ai vers les paramètres Ci à l'aide de la fonction " LPCAR2CC". On calculera ensuite les distances cumulées par le DTW. Ces coefficients permettent d'améliorer nettement la qualité de la reconnaissance.
III - Conclusion Ce travail a permis de visualiser la méthode DTW de reconnaissance vocale, d'estimer sa qualité et de pouvoir visualiser quelles étaient leurs sensibilités au bruit. On constate que parmi ces méthodes, une seule semble pouvoir offrir un service de meilleure qualité. Il s'agit de l a DTW. Ce projet a également permis de constater que ces techniques pouvaient être appréhendées au travers d'un outil de développement simple tel que Matlab. Il également clair que si nos blancs ont été manuellement retirés, dans une application réelle, il faudrait prévoir la mise en place d'un détecteur d'instants de parole. Dans un processus temps réel, il faudra tenir compte de la charge de calcul élevée engendrée par le calcul de la DTW. Il faudrait donc faire appel à des langages plus performants tel que le C pour permettre d'embarquer de tels algorithmes dans les GSM par exemple.
7
