RECONOCIMIENTO DE COMANDOS DE VOZ CON LABVIEW LABORATORIO DE INSTRUMENTACION VIRTUAL “LIV” Universidad Distrital “Francisco José de Caldas” Noviembre del 2000 Resumen: El proyecto tiene como objetivo el reconocimiento de comandos de voz, más exactamente de los números, pronunciados por un único usuario, mediante el software Labview.
análisis en tiempo, frecuencia y tiempo- frecuencia, y al mismo tiempo permite permite una interfaz interfaz gráfica gráfica necesaria necesaria para un manejo eficiente eficiente de la aplicación. 2. Planteamiento del problema
Mediante un análisis de la señal de voz y la comparación de las característi características cas más significativas con un archivo de audio grabado en la memoria de un computador, se busca el identificar que número pronuncia el usuario. Palabras clave: Reconocimiento, Labview, señales. 1. Introducción
El problema consiste en caracterizar la señal de audio que se obtiene a través de la tarjeta de audio de un computador; la aplicación se implementó sobre un computador puesto que este permite el procesamiento procesamiento rápido y eficiente eficiente de la información y puede ser utilizado para darle mayor aplicabilidad al reconocimiento de comandos, por ejemplo la marcación telefónica para una persona discapacitada. Otra herramienta empleada, que es parte importante del desarrollo, es el software que se encarga de tomar la señal de audio y analizarla. Con la posibilidad posibilidad de varios programas que realizaban esta función se optó por la viabilidad de Labview (programación gráfica), ya que este permite tanto una
Inicialmente se considero analizar la señal en el tiempo, para esto se deben considerar varios aspectos: cómo capturaba la señal la tarjeta de audio, o en otras palabras cómo convertía la señal análoga proveniente del tracto vocal del usuario en una señal digital compuesta de muestras a una específica frecuencia de muestreo. Es posible posible contener toda la muestra muestra de la señal en un mismo paquete de información, es decir, en el momento en que el usuario pronunciaba el comando este en su totalidad era capturado por la tarjeta audio, teniendo en cuenta que esta capturaba a una frecuencia de 11025 Hz. La frecuencia de muestreo es la más apropiada para obtener una señal completa sin tener que incomodar al usuario con una pronunciación rápida o a un determinado tiempo?. Se utiliza un código eficiente que permitiera capturar la muestra y hacer la comparación en un tiempo procesamiento procesamiento mínimo?. Al analizar analizar la señal en el tiempo, se puede caracterizar de la mejor forma considerando que la señal de voz de una persona es una señal no estacionaria en el tiempo?. Es
necesario buscar la mejor forma de mínimo espacio de memoria posible, optimizando el desempeño y los requerimientos de la aplicación.
caracterizar la señal utilizando el de manera empírica ajustando las condiciones que permitían una captura completa de la señal; teniendo en cuenta que la información a capturar no era muy extensa y estaba relacionada con la pronunciación de los números de 0 a 9. 3. Análisis en el Tiempo
Figura 1. VIs para audio.
Una señal en el tiempo se puede caracterizar por ser estacionaria, en este caso significa que en un rango de tiempo, por ejemplo de 0 a 1us, se encuentran las mismas frecuencias, una señal no estacionaria presenta un cambio de frecuencias en un rango de tiempo, una señal no estacionaria es una señal chirp donde a medida que transcurre el tiempo la señal pasa de una frecuencia menor a una mayor, una señal modulada en frecuencia es otro ejemplo de una señal no estacionaria. Partiendo de esto es fácil determinar que una señal de voz es no estacionaria, puesto que esta se compone de partes en la que es periódica y que corresponde a las vocales, y partes en la que es una señal aleatoria que corresponde a las consonantes.
Antes de comenzar a hablar sobre el análisis de la señal es necesario discutir la forma en que la tarjeta de audio captura la señal, y la forma en que Labview interpreta los datos que le entrega el dispositivo de audio y como los procesa. Labview tiene unas funciones definidas como VIs (instrumentos virtuales) que se caracterizan por su funcionalidad, modularidad, y por supuesto su presentación gráfica. Dentro de estos vi se encontraban aquellos referentes a la tarjeta de audio y los cuales: abren el puerto, lo configuran, lo inicializan y lo leen. Figura 1. La captura se hace en formato mono de ocho bits y a una frecuencia de 11025 Hz con un tamaño de espacio memoria o buffer de 16384, que corresponde al número de muestras. En la Figura 2. se observa una señal de voz en el tiempo representada en 255 niveles de la tarjeta de audio. Estos permitía una captura de la señal a una velocidad que depende de las características de procesamiento de la máquina y de la frecuencia y el número de muestras que se utilizaron. Puesto que las características de la máquina determinaban en cierta manera algunas características de configuración de la tarjeta de audio el problema se resolvió
Figura 2. Dominio del tiempo.
2
picos, mediante el VI de Labview THD (Total Harmonic Distortion, Figura 4) que realiza esta función, con la posibilidad de escoger un número determinado de picos para describir la señal con más exactitud, además de esto utilizar una ventana de Hamming para suavizar las discontinuidades en el momento en que se captura la señal y se analiza; se tenía la posibilidad de algunas otras ventanas pero la anterior arrojo buenos resultados.
Como se menciono antes inicialmente se analizo la señal en el tiempo, donde el primer problema fue capturar la señal en un mismo paquete de información dentro de un ciclo de comparación, en este proceso era difícil realizar una comparación eficiente, pero a partir de esto se analizo los picos de la señal, cruces por cero, se opto también por efectuar una convolución, pero sin tener buenos resultados; es necesario entonces buscar la forma de obtener alguna información adicional de la señal, y una forma es mediante una transformada.
Figura 4. VI THD 4. Análisis en Frecuencia.
A partir de este análisis se realizaron varias pruebas inicialmente con el número uno, pero se tenía el problema de que al pronunciar uno y u el programa identificaba el comando de voz como él mismo; este problema consistía en que la transformada de Fourier representa de igual forma una señal estacionaria y una señal no estacionaria con las mismas frecuencias a lo largo de un periodo de tiempo, como el número uno contiene vocales la señal que representa esta pronunciación contiene armónicos que representan las señales periódicas de estas, por esta razón al pronunciar uno y u el programa no diferenciaba con exactitud que lo que se estaba pronunciando era uno.
Figura 3. Dominio de la frecuencia
Una información adicional de cualquier señal es su espectro de frecuencias, y este se obtiene mediante la transformada de Fourier. Figura 3. El procedimiento para comparar las dos señales, la que se captura con la tarjeta y la que se guardaba en la memoria del computador, consistía en obtener el espectro y hallar las localizaciones y amplitudes de sus
El espectro de frecuencias de esta forma era muy útil para el reconocimiento pero no entregaba una información adicional que nos permitiera diferenciar con exactitud el comando, aunque muy posiblemente
3
nos podría ayudar a diferenciar las vocales, ya que estas se identifican por sus frecuencias.
ocurren y a que tiempos esto es imposible debido al principio de incertidumbre Heisenberg. A partir de esta transformada se pudo observar que para cada comando pronunciado efectivamente su transformada era diferente, sin embargo y desafortunadamente esas diferencias no eran tan notorias entre uno y otro comando. La Figura 6 muestra la transformada Wavelet de una señal.
De esta manera el problema de que la señal de voz no es estacionaria debía solucionarse buscando otra forma que nos permitiera determinar totalmente las características de la señal y su comportamiento en el tiempo, esto se puede lograr analizando la señal en varios intervalos de tiempo y en esos intervalos definir las frecuencias de la señal, y esto a la vez se debe definir como un espectrograma tiempofrecuencia. Algunas funciones que entrega estas características son la STFT (Short-time Fuorier Transform) y Wigner Distributions. 5. Análisis Tiempo-Frecuencia
Figura. 6. WT
Un algoritmo eficiente que nos permite analizar una señal en el tiempo y la vez en la frecuencia es la transformada Wavelet. Labview tiene la opción de transformada Wavelet Daubechies 4.vi. Figura 5.
Para hacer una comparación en un tiempo mínimo se necesitaba extraer esta misma información de los archivos grabados en la memoria y a la vez obtener una información significativa de esta transformada, se optó por buscar los picos de la señal caracterizándola por la localización y la amplitud de estos, además se optó también por hallar el valor AC de la señal en diferentes espacios sobre el eje x, la operación matemática que nos permite esto corresponde a la función de probabilidad del segundo momento de un arreglo de números, el segundo momento también nos da la ventaja de evitar los valores negativos y hacer más notoria una diferencia entre la comparación de los comandos por tratarse de una función cuadratica. De igual forma al capturar la señal de la tarjeta de audio se analizaba para obtener la información característica de la señal en un pequeño espacio
Figura 5. VI Wavelet Este algoritmo procesa más rápidamente la información entregando una información tiempo frecuencia de la señal analizada permitiendo un reconocimiento casi en tiempo real. Es importante mencionar que la transformada consiste de un banco de filtros sobre la señal original que busca obtener información de frecuencia en intervalos de tiempo, aunque lo que se desearía es obtener que frecuencias
4
tiempo y realizar una comparación en un nuevo ciclo, es de aclarar que el patrón de algunos comandos es muy parecido a otros, especialmente para los comandos que terminan con igual pronunciación como s ó o.
como decrecientes o crecientes en el caso de dos y tres, ya que mediante este método el reconocimiento no es muy efectivo. Una señal decreciente disminuye la intensidad a medida que transcurre el tiempo, es el caso de la pronunciación de tres al contrario de dos que es creciente.
6. Resultados.
El principal inconveniente consiste en diferenciar los comandos que tienen una pronunciación muy parecida, en cuanto comandos que terminan de diferente pronunciación el reconocimiento es más efectivo, se espera encontrar una forma a partir de la transformada que nos permite caracterizar con mayor detalle la señal de voz logrando comparar más efectivamente dos señales. Se encontró que la transformada Wavelet no difiere mucho de un usuario a otro, por lo tanto este procedimiento se podría extender a múltiples usuarios. 7. Conclusiones
Labview permitió una programación gráfica más rápida y fácil, además de la posibilidad de analizar las señales con ayuda de VIs para procesamiento digital, se tuvo también la posibilidad de analizar la señal: en el tiempo, frecuencia y tiempo- frecuencia. Observando la forma de las señales de una manera gráfica muy ordenada y sencilla. En cuanto al análisis de la voz se concluye que una buena forma de reconocimiento es mediante Wavelet, puesto que permite caracterizar una señal no estacionaria, que era el caso de la voz. Se espera encontrar una forma de aprovechar mejor esta transformada y lograr utilizarla efectivamente para el reconocimiento de cualquier comando. Se plantea la posibilidad de analizar las señales
5
