UNIVERSIDAD POLITECNICA SALESIANA FACULTAD DE INGENIERIA CARRERA DE INGENIERIA ELECTRÒNICA
TEMA: DISEÑO Y CONSTRUCCION DE UN GUANTE PROTOTIPO ELECTRÓNICO CAPAZ DE TRADUCIR EL LENGUAJE DE SEÑAS DE UNA PERSONA SORDOMUDA AL LENGUAJE DE LETRAS
ANTE-PROYECTO DE GRADUACIÓN PARA LA OBTENCIÓN DEL TÍTULO DE INGENIERO ELECTRÓNICO.
REALIZADO POR:
HERNÁN AUGUSTO POGO LEÓN
[email protected]
PABLO ANDRÉS ESPINOSA AGUILAR
[email protected]
2012 CUENCA – ECUADOR
1
1. TEMA: DISEÑO Y CONSTRUCCION DE UN GUANTE PROTOTIPO ELECTRÓNICO CAPAZ DE TRADUCIR EL LENGUAJE DE SEÑAS DE UNA PERSONA SORDOMUDO AL LENGUAJE DE LETRAS.
2. JUSTIFICACIÓN En nuestro medio las personas privadas de hablar y escuchar aprenden la comunicación manual (mímica dactilológica) y/o la lectura labio facial para poder comunicarse con la sociedad, sin embargo la gran mayoría de personas con la capacidad de hablar no entienden su mímica dactilológica. Un cierto porcentaje de las personas con discapacidad son de escasos recursos económicos y por esta razón no pueden acceder a un trabajo bien remunerado, ya que toda actividad exige de una buena comunicación para poder realizar las distintas tareas que se asignen. Datos estadísticos proporcionados por el CONADIS [7] revelan que del total de la población del Ecuador, el 13,2 % son personas con algún tipo de discapacidad (1`600.000 personas), y podemos señalar que en el país existen aproximadamente:
592.000 personas con discapacidad por deficiencias físicas 432.000 personas con discapacidad por deficiencias mentales y psicológicas 363.000 personas con discapacidad por deficiencias visuales; y, 213.000 personas con discapacidad por deficiencias auditivas y del lenguaje
Es por este motivo que la implementación de un sistema traductor que permita a una persona sordomudo interactuar sin problemas con la sociedad podría resolver el problema de la pobreza extrema en la comunidad de discapacitados sordomudos así como también asegurar una mejor comunicación con las personas que no sufren de esta discapacidad mejorando su nivel de vida. Viendo la necesidad de que las personas sordomudas puedan comunicarse con más facilidad con el resto de la sociedad (personas que no sufren de esta discapacidad), se ha planteado diseñar y construir un guante electrónico para las personas sordomudas capaz de traducir el lenguaje de señas sordomudo al lenguaje de letras del alfabeto castellano. El presente proyecto desarrolla el Diseño y Construcción de un Guante que capture el movimiento de los dedos de la Mano de una persona sordomuda para luego traducir el Lenguaje de señas sordomudo al lenguaje alfabético. Está enfocado a ayudar a las personas privadas de hablar, con el fin de mejorar una comunicación con el resto de la sociedad.
2
Mediante este proyecto tratar de:
Interpretar las señas más importantes utilizadas por las personas privadas del habla. Establecer una comunicación entre las personas privadas del habla con el resto de la sociedad Que las personas privadas del habla utilicen el proyecto como una fuente de aprendizaje para el lenguaje básico de señas Sordomudo.
Institución beneficiada por el proyecto:
Para tener una idea más clara en la realización del proyecto fuimos al Instituto Especial de Invidentes y Sordos del Azuay “I.E.S.A.” en donde nos recibió la directora Lcda. Miryam Falconi , expresándonos que la realización de este proyecto fuera de gran ayuda para el aprendizaje de las personas sordas de esta institución, además no supo orientar de mejor manera en cuanto al lenguaje de señas que se utiliza en nuestro país ya que nos supo aclarar que es diferente el lenguaje de señas que utilizan otros países.
3. OBJETIVOS a. OBJETIVO GENERAL Diseñar y construir un guante prototipo electrónico capaz de convertir el lenguaje de señas, en lenguaje escrito o hablado para mejorar la comunicación con las demás personas dotadas de hablar.
b. OBJETIVOS ESPECIFICOS
Diseñar y construir un guante sensitivo para la captura del movimiento de los dedos de la mano. Diseñar y construir una tarjeta con interfaz USB que permita la comunicación entre el guante prototipo y la computadora. Diseñar una Aplicación (Software en MATLAB® 2010) para adecuar y visualizar la información según los movimientos que realice los dedos de la mano capturados por el guante. Este software se ejecutará en una computadora. Visualizar en una aplicación tanto el alfabeto latino como el lenguaje de señas utilizada por una persona sordomudo la cual se encargara de realizar la traducción adecuada del lenguaje de señas al lenguaje alfabético.
3
4. DELIMITACIONES. a. DELIMITACIONES 4.1.1 Delimitación Geográfica:
Nuestro proyecto y sus respectivas investigaciones se centrará en la ciudad de Cuenca provincia del Azuay.
4.1.2 Delimitación del Universo Estadístico:
En la provincia del Azuay existen 1927 personas con discapacidades auditivas o de comunicación. Nos centraremos en las Instituciones Educativas para personas sordomudas de la ciudad de Cuenca, entre 200 y 300 personas aproximadamente.
5. MARCO TEÓRICO 5.1
INTRODUCCIÓN. ANATOMÍA DE LA MANO.
Mediante el estudio de la anatomía de la mano podremos tener una idea clara para realizar correctamente el diseño y construcción del guante electrónico así como también la adquisición de los datos y el tipo de sensor a utilizar.[1]
Fig. 1: Anatomía de la Mano. [1] La mano está constituida por 27 huesos que se agrupan en tres áreas distintas:
Huesos del carpo, 4
Huesos del metacarpo, Huesos de los dedos. METACARPO El metacarpo constituye el esqueleto de la región palmar y consta de cinco huesos contados desde del pulgar hacia fuera, como se observa en la Figura 2.
CARPO El carpo está formado por ocho huesos pequeños en dos hileras transversales. Todos los huesos del carpo son irregularmente cuboides y por consiguiente tienen seis caras. De estas 6 caras, la anterior o palmar y la posterior o dorsal son rugosas y están en relación con las partes blandas de la región palmar y de la región dorsal. Las otras cuatro, son lisas y están recubiertas de cartílago.
DEDOS Los dedos son los órganos esenciales de prensión y del tacto, muy móviles. Sus huesos están articulados con los metacarpianos y también se numeran del 1 a 5 comenzando por el pulgar. Están formados por tres columnas decrecientes que se denominan falanges (primera, segunda y tercera falanges). [1]
Fig. 2: Huesos de la Mano. [1] 5
LENGUAJE DE SEÑAS QUE UTILIZA UNA PERSONA SORDOMUDA Se presenta el lenguaje de señas que utiliza una persona sordomuda para comunicarse con sus semejantes y con el resto de la sociedad.
Fig. 3: Lenguaje de Señas. [8] Las señas dibujadas en color oscuro muestran la letra del alfabeto correspondiente tal como se ve cuando las ejecuta una persona, frente a nosotros, con la mano derecha. Las señas dibujadas en color claro representan la misma letra que se encuentra a su izquierda pero vista desde otro ángulo; su único objetivo es el de aclarar la posición de los dedos o el movimiento de la mano.
SENSORES A UTILIZAR Sensores Piezoeléctricos. Los sensores piezoeléctricos tienen la particularidad que al ser flexionados se produce un cambio en la resistencia eléctrica entre sus terminales. Son transductores pasivos, es decir necesitan alguna excitación o polarización para poder convertir un tipo de energía en otra. En este proyecto se utilizará un circuito partidor de tensión, de modo que al flexionarlos se obtenga un voltaje proporcional al grado de flexión.
FLEX SENSOR
Fig. 7: Flex Sensor.[1] 6
El Flex Sensor, como se muestran en la Figura 7, es un sensor que cambia su resistencia dependiendo de la cantidad de curva que experimenta el sensor. Su variación en curvatura es convertido a resistencia eléctrica, cuanto más es la curva, más es el valor de la resistencia. Se dispone en una tira fina a partir de 1" a 5" de largo, largo que varía en resistencia de aproximadamente 10 K a 40 K. [1] Cuando el sensor está recto completamente tiene una resistencia nominal de 10 K. Mientras que si es flexionado la resistencia aumenta casi proporcionalmente. En 90º la resistencia de los sensores aumenta a aproximadamente 35 K.
Fig. 8: Valor aproximado de la resistencia según la flexión (grados). [1]
ARQUITECTURA DEL PUERTO USB. A pesar de que el puerto USB nos ofrece más ventajas que sus predecesores, su complejidad para implementarlo es enorme, ya que su funcionamiento está basado en protocolos de software. El hub es un elemento plug and play en la estructura USB y es un concentrador al cual, se le pueden agregar más dispositivos USB, incluyendo otro hub. La velocidad de transferencia depende de la velocidad del HUB que se esté utilizando. Ver figura 9. Las velocidades típicas son: 480Mb /s en high speed, 12Mb/s full ‐speed y 1.5Mb/s en Lowspeed.[4]
Fig. 9 Múltiple velocidad en un BUS. [4] 7
El cable que típicamente es usado no es largo, debido a la velocidad de transferencia y tiene la estructura mostrada en la figura 10. Sus terminales son del tipo diferencial y consta de 4 hilos.
Fig. 10: Cable USB.[4] La arquitectura USB comprende cuatro tipos básicos de transferencia de datos:
Control Transfers: Es usado para configurar un dispositivo al momento de que se conecta. Los datos entregados pueden perderse. •
Entrega el dato por volumen, el ancho de banda puede variar. Es usado en escáner ó cámaras. La ráfaga de datos es secuencial. • Bulk Data Transfers:
Used for timely but reliable delivery of data, for example, characters or coordinates with humanperceptible echo or feedback response characteristics. • Interrupt Data Transfers:
Occupy a prenegotiated amount of USB bandwidth with a prenegotiated delivery latency. (Alsocalledstreaming real time transfers). • Isochronous Data Transfers:
Aunque el PIC no puede funcionar como host, ya que se requiere de una gran capacidad de manejo de datos para administrar a cada componente del BUS, es suficiente que se pueda administrar como un “device”, para esto se requiere “memorizarle” los protocolos necesarios
para enlazarse al host. Estos protocolos se le llaman descriptores y sirve para informarle al host todo lo necesario para que pueda administrarlo. Los PICs de la serie 18Fxx5x tienen tres modos de funcionamiento:
1. USB Human Interface Device (HID): Velocidad Baja, no requiere driver. 2. USB Communication Device Class (CDC): Velocidad Media, requiere driver. Crea un Puerto Serie Virtual. 3. USB Custom Driver: Velocidad Alta, requiere driver. Este es el modo que usa WinUSB (para windows vista) y el mpusbapi (windows 2000 y posterior). Dentro de los protocolos hay que especificar el tipo de transferencia de datos a usar (endpoints), VID&PID, nombre y serie del producto que se conecta para que el host identifique al driver y pueda instalarlo con el fin de que el dispositivo pueda f ormar las “pipes” ó túneles para su comunicación con el host (ver figura 11).
8
Fig. 11: Flujo de comunicación USB. [4]
CONFIGURACION DEL MODULO ADC DEL PIC Características: • • • • •
En
10 bits de resolución. 13 canales multiplexados. Señal de reloj configurable. Tiempo de adquisición programable (0 a 20 TAD). Rango de tensión de conversión configurable mediante tensión de referencia externa. el
compilador
C
las
funciones
para
manejar
el
convertidor
AD
son:
setup_adc(mode); mode: configura el módulo del conversor A/D correspondientes a los bits 7:6 del registro ADCON0. Mode puede ser: Mode ADC_OFF ADC_CLOCK_INTERNAL ADC_CLOCK_DIV_2 ADC_CLOCK_DIV_8 ADC_CLOCK_DIV_32
Acción ADC Apagado ADC usa oscilador interno 32 khz ADC preescalar 2 (Fosc/2) ADC preescalar 8 (Fosc/8) ADC preescalar 32 (Fosc/32)
Tabla 1. Configuración del Módulo ADC del PIC. [6]
setup_adc_ports(value); value: Definición de las entradas analógicas correspondientes a los bits 3:0 del ADCON1
9
Tabla 2. Entradas analógicas del PIC. [6]
set_adc_channel(channel); channel: selección del canal analógico correspondiente a los bits 5:2 de ADCON0. 0(AN0) 1(AN1) 2(AN2) 3(AN3) 4(AN4) 5(AN5) 6(AN6) 7(AN7) 8(AN8) 9(AN9) 10(AN10) 11(AN11) 12(AN12) 13(AN13)
Value=read_adc(); Lectura del resultado donde value es un entero de 16 bits. La directiva utilizada determina el número de bits del ADC. Por ejemplo #device 18F4550, debe incluir la indicación del número de bits del conversor, así: #device adc = 10.
read_adc() permite tres modos de funcionamiento ADC_START_AND_READ
Inicio y lectura del convertidor. Opción por defecto
ADC_START_ONLY
Sólo inicio la conversión
ADC_READ_ONLY
Sólo lee los registros del conversor
10
COMUNICACIÓN USB CON PIC 18F4550 Y PC
Fig. 12: Esquema del circuito para la comunicación USB. [9] Lo que se pretende en este proyecto es implementar una comunicación bidireccional masiva, bulk transfers , entre el PIC y el Software del PC vía USB 2.0 a full speed. Como intermediarios se utilizaran dos recursos de Microchip: El Driver para Windows y la dll mpusbapi.dll. Para el firmware se utilizará como base los ejemplos y descriptores USB que trae como ejemplos el CCS C, adaptándolo a los requerimientos del proyecto, fundamentalmente darles los VID&PID que espera encontrar el driver para Windows y el tamaño máximo del buffer de emisión-recepción del canal USB, mas alguna que otra descripción. Después de esto solo nos quedará definir los comandos que vamos a procesar en él e implementar las funciones que lo realizan efectivamente. De la parte del PC se tendrá que instalar el Driver para Windows XP que nos ofrece Microchip, que nos va a servir de puente entre nuestro software con el canal USB del PC. Es quien define los VID&PID que vamos a utilizar. En el software en MATLAB los VID&PID definidos en el Driver y en el Firmware e implementar de forma complementaria los mismos comandos USB que van a ser procesados por el Firmware. Para el software en MATLAB se dispone también del unit que sirve de puente entre la aplicación y la mpusbapi.dll.
11
Con todo ello se pretende conseguir el envió de comandos e información al PIC y que conteste oportunamente devolviendo lo que corresponda.
6. DESCRIPCION DEL SISTEMA ADQUISICION DE DATOS La etapa que mejor debe ser diseñada para los parámetros a medir es la etapa de adquisición de datos. Los Parámetros a censar son los siguientes:
Flexión de los dedos.
Grado de inclinación de la mano.
Postura de la muñeca.
Fig. 4: Angulo de flexión de cada uno de los dedos. [1]
Fig. 5: Ubicación de los sensores Flexibles. [1]
Nuestro sistema está formado básicamente de 4 partes: 1. Un arreglo de sensores que detectan el movimiento de las articulaciones de la mano,
12
2. Un circuito que permite digitalizar las señales provenientes de los sensores. 3. Un sistema de comunicación USB entre el circuito y la computadora. 4. Una aplicación encargada de adecuar y visualizar la información (software). Los sensores están hechos de materiales flexibles y permiten medir la magnitud de la deformación a los que son sometidos. En caso de que el sensor sea doblado, el voltaje en sus terminales puede relacionarse con el ángulo de flexión.[1]
Fig. 6: Ubicación de los sensores flexibles en los dedos de la mano.[1]
El software de nuestro sistema se ejecuta en la computadora externa y permite leer la información proveniente del hardware de captura. El comportamiento de los datos capturados puede visualizarse directamente en la aplicación.
6.1 FUNCIONAMIENTO DEL GUANTE ELECTRÒNICO. En este trabajo se realiza el diseño y construcción de un guante electrónico sensitivo al movimiento el cual poseerá diez sensores flexibles, dos sensores en cada uno de los dedos de la mano.
13
El prototipo diseñado tendrá como base un guante, al cual se le acoplarán sensores y una aplicación para procesar y desplegar la información en la pantalla de una PC. El hardware del sistema está formado básicamente por un microcontrolador, y un conjunto de sensores flexibles. Dos sensores en cada uno de los dedos de la mano (10 sensores flexibles en total), de tal forma que al doblar los dedos sea posible medir el ángulo de flexión. Las señales provenientes del arreglo de sensores ingresan a los puertos de conversión analógico/digital (A/D) del microcontrolador 18F4550, un sensor por puerto (A/D). Una vez que las señales son digitalizadas se construye un vector por cada señal monitoreada de cada sensor. Estos vectores son transferidos a una computadora externa a través de un puerto USB. En MATLAB ® 2010 versión 7.10.0.499 se desarrollará una aplicación que procese la información proveniente de cada sensor. La aplicación relacionará los valores enviados por los sensores con una base de datos correspondientes a los valores de cada una de las señas para que luego el programa identifique la letra correspondiente según el lenguaje de señas capturado, en donde cada seña producida por la persona sordomuda (con el guante colocado) será traducida a su correspondiente letra del alfabeto. Es importante considerar que las personas tienen diferente tipo de mano en cuanto se refiere al tamaño de la misma, por esta razón se considera conveniente que debido a esto se van a obtener algunos errores cuando se coloquen el guante ya sea un niño o un adulto, es por esto que se realiza un entrenamiento previo en el software para recalibrar los datos según el tamaño de la mano. También se ve como posibilidad de solución la recalibración en hardware, pues con el buen diseño del guante se puede realizar uno que se adapte a cada tipo de mano existente, entonces acorde a estos futuros análisis se utilizara el método más factible para el buen funcionamiento. El prototipo tiene como base un guante al cual se le acopló un hardware específico y una aplicación encargada de adecuar y visualizar la información. El prototipo del sistema puede monitorear las señales de diez sensores.
7. ESQUEMA DE CONTENIDOS CAPITULO I. INTRODUCCIÓN GENERAL. 1.1 Introducción. 1.2 Anatomía de la Mano Humana. 1.2.1 Carpo 1.2.2 Metacarpo 1.2.3 Dedos. 1.3 Estudio de los Dedos de la Mano.
14
CAPITULO II. ANALISIS DE LOS DIFERENTES TIPOS DE SENSORES. 2.1. Tipos de Sensores. 2.1.1. Bend Sensor. 2.1.2. Galgas Extensométricas. 2.1.3. Sensores Ópticos. 2.1.4. Sensor de Presión 2.1.5. Acelerómetro 2.1.6. Sensor Lineal de Posición (LVDT). 2.1.7. Sensor Flexible 2.2. Selección del Sensor a utilizar 2.2.1 Justificación del Sensor a utilizar 2.3. Tipos de Acondicionamiento de la Señal del Sensor Flexible. 2.3.1 Justificación del Tipo de Acondicionamiento seleccionado. 2.4 Propuesta de Diseño 2.4.1 Especificación del Software 2.4.2 Especificación del Hardware CAPITULO III. DISEÑO Y CONSTRUCCION DEL HARDWARE. 3.1. Construcción del Guante Traductor. 3.1.1 Parámetros del Guante Traductor para su Construcción. 3.1.2 Diseño del Guante traductor y Distribución de Sensores. 3.2 Calculo de la variación de la resistencia de los Sensores Flexibles. 3.3 Circuitos de acondicionamiento de los Sensores Flexibles. 3.4 Construcción de la tarjeta de adquisición de datos 3.4.1 Parámetros de la tarjeta de adquisición de datos. 3.4.2 Circuito de adquisición de datos del PIC 18F4550 con interfaz USB 2.0. CAPITULO IV. DESARROLLO DEL SOFTWARE. 4.1 Consideraciones para el desarrollo del programa del Microcontrolador 18F4550 4.1.1 Desarrollo del Programa del Microcontrolador 18F4550 4.1.1.1 Manejo de los puertos Analógicos del PIC 18F4550 4.2 Consideraciones para el desarrollo del programa en MATLAB ® 2010 4.2.1 Comunicación entre la tarjeta interfaz y la aplicación desarrollada en Matlab . 4.2.2 Interpretación de las señales adquiridas. 4.3 Interfaz de Usuario.
15
4.3.1 Visualización de la traducción del Lenguaje de señas al Lenguaje Escrito. 4.3.2 Sistema de muestreo para su recalibración.
CAPITULO V. ANALISIS DE RESULTADOS. 5.1. Pruebas de funcionamiento 5.2. Resultados Obtenidos 5.3. Costos del Proyecto CAPITULO VI. CONCLUSIONES Y RECOMENDACIONES 6.1 Conclusiones. 6.2 Recomendaciones. REFERENCIAS BIBLIOGRAFICAS ANEXOS. A1. Manual de Usuario.
8. CRONOGRAMA DE ACTIVIDADES:
Mes 1
Mes 2
Mes 3
Mes 4
Mes 5
Mes 6
ACTIVIDADES 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 CAPITULO I CAPITULO II CAPITULO III CAPÍTULO IV CAPÍTULO V CAPITULO VI
16
9. RECURSOS 8.1 RECURSOS FÍSICOS Dentro de estos recursos se contará con lo siguiente: -
Computadora Personal.
-
Libros.
-
Revistas.
-
Instrumentos de Medición
-
Laboratorios UPS.
-
CD`s de Instalación de software.
Materiales para la construcción de la tarjeta USB y el guante con sus respectivos sensores
8.2 RECURSOS HUMANOS -
Investigadores:
Hernán Pogo Pablo Espinosa
8.3 RECURSOS FINANCIEROS:
Todos los gastos que la tesis requiera serán financiados 100% por los autores.
9 BIBLIOGRAFÍA. [1]MAILA, Freddy Oswaldo. Diseño y Construcción de un prototipo para captura del movimiento con un grado de libertad de los dedos de una mano y visualización en una PC en tiempo real. Tesis (Ingeniero en Electrónica y Telecomunicaciones). Quito, Ecuador. Escuela Politécnica Nacional, Facultad de Ingeniería Eléctrica y Electrónica, 2008. 126 p. [2] CAICEDO, David R. y SOLORZANO, Enrique X. Diseño de un traductor de gestos por medio de un guante electrónico sensitivo al movimiento. Tesis (Ingeniero en Electrónica y Telecomunicaciones). Guayaquil, Ecuador. Escuela Superior Politécnica del Litoral, Facultad de Ingeniería en Electricidad y Compu tación, 2006. 81 p. [3]Flex Sensor .Rebecca Bray. 2006. Disponible en:
[4]POOL, Gabriel J. Transferencia y procesamiento de datos a alta velocidad, mediante el uso de MATLAB, el puertoUSB 2.0 y PI C18F2455 de Microchip™. Mérida, Yucatán. Universidad Modelo, Escuela de Ingeniería. 2009. 15 p. [5]Microchip Technology. Data SheetPIC18F2455/2550/4455/4550. USA. 2006
17
[6] GARCIA, Eduardo. Compilador C CCS y simulador PROTEUS para microcontroladores PIC. Barcelona, España. Alfaomega Grupo Editor. 2008. 276 p. [7] CONADIS. Distribución de las personas con discapacidad por tipo de deficiencia [En línea]. Cuenca , Ecuador [Consulta: 18 enero 2012]. Institucional. Disponible en: http://www.conadis.gob.ec/estadisticas.htm#estadis [8] ADIÓS A LA SORDERA. Lenguaje de Señas. [En línea]. [Consulta: 18 enero 2012]. Disponible en:
http://www.adiosalasordera.com/singLang/lenguaje.htm.
[9] LADELEC. Como aprender a usar el Puerto USB con PIC 18f4550 y visual basic. [En línea]. [Consulta: 18 enero 2012]. Disponible en: http://ladelec.com/practicas/colaboradores/alfredo-rossini/593-comoaprender-a-usar-el-puerto-usb-con-pic-18f4550-y-visual-basic-60.
18
