GUÍA DE ESTUDIO DE LA ASIGNATURA GRADO
APRENDIZAJE AUTOMÁTICO 2ª PARTE | PLAN DE TRABAJO Y ORIENTACIONES PARA SU DESARROLLO
2016‐ 2016‐2017
Enrique J. Carmona Suárez, José R. Álvarez Sánchez
GRADO EN INGENIERÍA INFORMÁTICA
UNIVERSIDAD NACIONAL DE EDUCACIÓN A DISTANCIA
AP A PRENDIZ IZA AJE AUTOMÁTIC ICO O
1.- PLAN DE TRABAJO La presente sección describe el plan de trabajo propuesto para esta asignatura. La secuencia concreta de actividades previstas se presenta más en detalle en secciones posteriores. Tal y como se indica en la Guía de Estudio (1ª parte), el texto base recomendado para el estudio de la asignatura es: D. Borrajo, J. González y P. Isasi. Aprendizaje Aprendizaje Automático. Sanz y Torres, 2006. En primer lugar, dado que el contenido del texto base no se corresponde exactamente con el temario de la asignatura, se ofrece a continuación la correspondencia entre este último y los capítulos y/o secciones del texto base:
PARTE I. INTRODUCCIÓN Y FUNDAMENTOS - Tema 1. Introducción. Capítulo 1. - Tema 2. Fundamentos en Aprendizaje Automático . Capítulo 2.
PARTE II. APRENDIZAJE SUPERVISADO -
Tema 3. Aprendizaje de Conceptos y de Reglas. Capítulo 3 y Sección 5.3. Tema 4. Árboles de Decisión y de Regresión. Secciones 6.1 y 6.2. Tema 5. 5. Aprendizaje Aprendi zaje basado basado en Instancias Ins tancias . Sección Sección 6.3. Tema 6. Clasifi Clasificadores cadores Bayesianos B ayesianos . Sección 6.4. Tema 7. 7. Redes Redes de Neuronas Neuron as Artific Art ificiales iales . Sección 9.1. Tema 8. 8. Máquin Máquinas as de Vectores Soporte Sopo rte . Tutorial disponible en el curso virtual. virtual .
PARTE III. APRENDIZAJE NO SUPERVISADO - Tema 9. Agrupamiento (Clustering) . Secciones 8.1 y 8.2 del capítulo 8. 10. Mapas Auto-organizados Aut o-organizados . Sección 9.2 del capítulo 9. - Tema 10.
PARTE IV. OTROS TIPOS DE APRENDIZAJE - Tema 11. 11. Aprendizaje por refuerzo. Capítulo 10. La equivalencia entre temario y texto base descrita anteriormente se puede expresar también a la inversa, es decir, mencionando las partes del texto base que serán objeto de estudio: -
Capítulo 1 (complet (completo) o) (completo) o) Capítulo 2 (complet (completo) o) Capítulo 3 (complet Capítulo 4 (no es objeto de estudio) Capítulo 5 (sólo sección 5.3) Capítulo 6 (completo)
-
Capítulo 7 (no es objeto de estudio) Capítulo 8 (sólo secciones 8.1 y 8.2) Capítulo 9 (sólo secciones 9.1 y 9.2) Capítulo Capí tulo 10 (completo) Capítulo 11 (lectura recomendada)
UNIVERSIDAD UNIVERSI DAD NACIONAL DE EDUCACIÓN A DISTANCI DISTANCIA A
2
|
GUÍA DE ESTUDIO
El equipo docente pondrá a disposición de los alumnos, en el curso virtual de la asignatura, ejercicios y actividades de autoevaluación sobre cada bloque. La realización de estos ejercicios/actividades es voluntaria y no repercute en la evaluación final de la asignatura. La finalidad de todo este material es la de servir de complemento al estudio de la asignatura. SEMANA
PLAN DE TRABAJO Estudio y realización de actividades de Parte I
1
9
10-11
12
2
Tema 2
8
R1
72
Tema 3
24
Tema 4
16
Tema 5
8
Tema 6
8
Tema 7
8
Tema 8
8
Actividad Evaluable I (PEC-1)
10
Estudio y realización de actividades de Parte III
24
Tema 9
12
Tema 10
12
Activ idad Evaluable II (PEC-2)
10
Estudio y realización de actividades de Parte IV
12
13
R4, R5 y R6
R4, R6 y R7
R4, R5 y R6
R4, R6 y R7
R4, R5 y R6 Tema 11
14
RESULTADOS DE APRENDIZAJE
10
Tema 1
Estudio y realización de actividades de Parte II
2-8
HORAS DE TRABAJO
12
Repaso y preparación de la Prueba Presencial
12
R4, R5, R6 y R7
Tabla 1. Plan de trabajo de la asignatura
En la tabla 1, se presenta una planificación semanal orientativa del trabajo que debería realizar el alumno para abordar de una forma adecuada el estudio de la asignatura. En dicha tabla se muestran diferentes acrónimos relacionados con los resultados de aprendizaje alcanzados tras cada plan parcial de trabajo. Dichas siglas se corresponden con las definiciones de resultados de aprendizaje realizadas en la Guía de
UNIVERSIDAD NACIONAL DE EDUCACIÓN A DISTANCIA
3
APRENDIZAJE AUTOMÁTICO
estudio (Parte I), y conservan también la misma notación utilizada en la memoria de verificación del título para describir los resultados de aprendizaje relacionados con la materia a la que pertenece esta asignatura (Sistemas Inteligentes).
2.- ORIENTACIONES PARA EL ESTUDIO DE LOS CONTENIDOS Esta sección de la guía contiene un conjunto de orientaciones de interés para el alumno, diseñadas para establecer una breve descripción de los contenidos de cada una de las cuatro partes en la que se divide la asignatura y para ayudarle a estudiar los contenidos de la asignatura.
2.1 Parte I: Introducción y Fundamentos Abarca los dos primeros temas del curso:
Tema 1. Introducción. Tema 2. Fundamentos en Aprendizaje Automático
Objetivos El principal objetivo de esta parte del temario es presentar una introducción al Aprendizaje Automático (AA), así como una serie de conceptos o fundamentos básicos que son comunes a todas las técnicas de AA que se estudiarán durante el curso. T em a 1. I n t r o d u c ci ó n
Este tema será estudiado a partir del capítulo 1 del texto base y abarca los siguientes aspectos del Aprendizaje Automático:
Motivaciones (Sección 1.1) Concepto de Aprendizaje (Sección 1.2 y 1.3) Perspectivas del Aprendizaje (Sección 1.4) Revisión histórica (Sección 1.5)
Objetivos El principal objetivo de este tema es presentar una introducción al aprendizaje automático. Breve Introducción Antes de estudiar una disciplina, resulta importante conocer cuáles son las motivaciones por las que se considera útil el estudio y utilización de las técnicas pertenecientes a dicha disciplina. Aquí, las motivaciones que hacen interesante el estudio del aprendizaje automático se presentarán desde distintos puntos de vista: técnico (desarrolladores de software), comercial (tendencias del mercado) y científico. Para poder definir qué es el aprendizaje automático es preciso conocer antes el concepto genérico de Aprendizaje . Son varias las definiciones existentes en la literatura relacionada con el tema. Sin embargo, dado que no se conocen, con la profundidad suficiente, los mecanismos que controlan el aprendizaje humano, la mayoría de las definiciones existentes se centran más en la funcionalidad del aprendizaje que en los procesos internos asociados a dicha capacidad. Por tanto, el alumno debería familiarizarse con estas definiciones, para poder inferir el conjunto de características relacionadas con la capacidad de aprender y, de esta forma, ser capaz de valorar si un sistema dado posee o no alguna aptitud para aprender.
UNIVERSIDAD NACIONAL DE EDUCACIÓN A DISTANCIA
4
|
GUÍA DE ESTUDIO
Por otro lado, a la hora de acercarse, analizar y entender el aprendizaje automático no existe una perspectiva única. Aquí, mencionamos tres perspectivas del aprendizaje . La primera, la perspectiva biológica, se centra en los mecanismos de adaptación de los seres vivos. La segunda, la perspectiva computacional, concibe el AA como una nueva forma de programación. Y la tercera, la perspectiva inferencial, se centra en qué tipo de inferencia se realiza para poder aprender. Como en cualquier otra rama del saber, también en el aprendizaje automático existen multitud de circunstancias a lo largo de la historia que han conducido a la situación actual del campo. Por tanto, el alumno debería conocer las diferentes etapas de esta evolución histórica , así como las tendencias y relaciones con otras disciplinas, en especial con la inteligencia artificial, que han marcado y caracterizado cada una de dichas etapas.
Orientaciones para el estudio Dado el carácter introductorio de este tema, será suficiente realizar una lectura atenta de los contenidos relacionados con dicho tema. Actividades recomendadas Dado el carácter introductorio de este tema, no se propone la realización de actividades. T em a 2 . F u n d a m en t o s en A p r en d i z a j e A u t o m át i c o
Este tema será estudiado a partir del capítulo 2 del texto base y abarca los siguientes aspectos:
Objetivos de la tarea de Aprendizaje (Secciones 2.1 y 2.2) Conceptos básicos (Sección 2.3) Diseño de experimentos (Sección 2.4) El aprendizaje como una tarea de búsqueda (Sección 2.5) Subtareas relacionadas con la tarea de aprendizaje (Sección 2.6) Evaluación del modelo aprendido (Sección 2.7)
Objetivos El objetivo básico de este tema es presentar una serie de conceptos y procedimientos básicos en aprendizaje automático que son comunes a todas las técnicas que se estudiarán en la asignatura. Breve introducción En primer lugar se realizará una formalización del concepto del aprendizaje en términos de tarea , definiendo así cuáles son sus objetivos, sus entradas y salidas, y los diferentes componentes y relaciones entre ellos. A continuación, se analizarán los principales elementos y conceptos básicos utilizados en los sistemas de aprendizaje . La descripción se centrará en introducir dichos conceptos de forma genérica de modo que puedan ser particularizados, posteriormente, a lo largo de los restantes temas de la asignatura. Seguidamente, se describirán y analizarán las etapas básicas relacionadas con el diseño de cualquier experimento de aprendizaje :
Determinación de la función objetivo Recopilación de casos Elección de atributos predictivos Codificación de los valores de atributo Selección de instancias de entrenamiento y de test
UNIVERSIDAD NACIONAL DE EDUCACIÓN A DISTANCIA
5
APRENDIZAJE AUTOMÁTICO
Un aspecto importante a la hora de abordar la tarea de aprendizaje es plantearla como un problema de búsqueda. Esto permitirá crear un marco común, independiente del problema a resolver, formado por un conjunto de estados (conjunto de todas las configuraciones posibles de situaciones que pueden darse en el problema) y un conjunto de operadores (que representan las transiciones entre estados). A su vez, estos dos conjuntos permitirán formalizar el espacio del problema de búsqueda en forma de grafo en el que los nodos representan estados y los arcos representan operadores. Por tanto, un problema concreto se definirá por un estado inicial y un estado final (solución), y la resolución del problema consistirá en encontrar un camino que permita pasar desde el estado inicial hasta el estado final. También se verá que la tarea de aprendizaje se puede descomponer en un conjunto de subtareas representativas: clasificación, agrupación y caracterización . Por tanto, se hará una descripción de las características que definen cada una de estas subtareas. Piénsese que, a la hora de resolver un problema de aprendizaje, resulta útil identificar cuáles son las tareas que implican aprendizaje y, además, clasificar cada una de ellas de acuerdo a la subtarea que pertenece. Esto facilitará la elección de la técnica de aprendizaje más adecuada en virtud del tipo de subtarea. El resultado final de resolver un problema de aprendizaje es la creación de un modelo que permite resolver dicho problema. Sin embargo, resulta esencial evaluar las prestaciones del modelo para poder establecer la validez del mismo. Además, el resultado de dicha evaluación facilitará la comparación con otros modelos. Por tanto, en este capítulo, también se describirán diferentes formas de evaluar los modelos aprendidos: matemática, experimental y psicológica.
Orientaciones para el estudio A pesar del carácter introductorio de este tema, es importante que: (1) El alumno aprenda y retenga la mayoría de los conceptos que aquí se definen (especial interés al concepto de bias ). Esto es así porque muchos de estos conceptos volverán a aparecer en los siguientes temas y, por tanto, en diferentes contextos. (2) Muy interesante resulta también el apartado dedicado a describir la tarea de aprendizaje como un problema de búsqueda . Esto es así porque, en el resto de temas, dedicados a abordar las distintas técnicas de aprendizaje, el problema que resuelve cada una de estas técnicas se estructura y describe como si de un problema de búsqueda se tratara. (3) Finalmente, desde un punto de vista práctico, también es importante que el alumno comprenda y aprenda cuáles son las diferentes etapas implicadas en el diseño de un experimento de aprendizaje y, además, sepa cómo evaluar el modelo resultante de resolver el problema. Esto le resultará de gran ayuda a la hora de abordar las actividades prácticas de la asignatura. Por tanto, el alumno deberá tener siempre en cuenta que el resolver un problema de aprendizaje no sólo consiste en elegir y aplicar la técnica de aprendizaje más adecuada sino que, también, existe un conjunto de etapas previas y posteriores que son necesarias implementar para completar el proceso con éxito.
Actividades recomendadas Dado el carácter introductorio de este tema, no se propone la realización de actividades.
UNIVERSIDAD NACIONAL DE EDUCACIÓN A DISTANCIA
6
|
GUÍA DE ESTUDIO
2.2 Parte II: Aprendizaje Supervisado El estudio de esta parte abarca los siguientes siete temas del curso:
Tema 3. Aprendizaje de Conceptos y de Reglas Tema 4. Árboles de Decisión y de Regresión Tema 5. Aprendizaje basado en Instancias Tema 6. Clasificadores Bayesianos Tema 7. Redes de Neuronas Artificiales Tema 8. Máquinas de Vectores Soporte
Objetivos El principal objetivo de esta parte del temario es presentar y describir un conjunto de técnicas pertenecientes a una categoría de aprendizaje conocida con el nombre de aprendizaje supervisado . Este tipo de paradigma abarca un conjunto de técnicas que permiten inducir un modelo a partir de un conjunto de datos o ejemplos de entrenamiento. Cada ejemplo de entrenamiento consiste en un conjunto de pares de objetos atributo-valor más un atributo adicional que representa la clase o salida de dicho ejemplo. La salida del modelo aprendido puede ser un concepto (problemas de aprendizaje de conceptos), una etiqueta de clase (problemas de clasificación) o un valor numérico (problemas de regresión). El objetivo último del aprendizaje supervisado es el de crear un modelo capaz de predecir el valor correspondiente a cualquier ejemplo de entrada no visto, es decir, que no haya sido utilizado en el conjunto de entrenamiento. T em a s 3 . A p r en d i z a j e d e Co n c ep t o s y d e R eg l a s
Este tema será estudiado a partir del capítulo 3 y la sección 5.3 del texto base e incluye los siguientes aspectos:
Introducción (Sección 3.1) Espacio de Versiones (Sección 3.2) Algoritmo AQ (Sección 3.3) Programación Lógica Inductiva (ILP): Algoritmo FOIL (Sección 5.3)
Objetivos El principal objetivo de este tema es presentar un conjunto de técnicas de aprendizaje relacionadas con el aprendizaje de conceptos . Tradicionalmente, se ha denominado “concepto objetivo” a aquel concepto que puede ser expresado mediante un conjunto de características. Por tanto, el principal objetivo de las técnicas de aprendizaje que se describirán en este tema es encontrar, a partir de un conjunto de ejemplos y contraejemplos expresados en términos de un conjunto de características, una descripción del concepto a aprender que explique todos los ejemplos positivos y que excluya todos los negativos (contraejemplos). La descripción final del concepto aprendido (modelo) vendrá expresada en forma de regla o conjunto de reglas. La diferencia principal entre las técnicas que aquí se presentan radica en la expresividad utilizada para formular tanto los ejemplos positivos y negativos como el conjunto de reglas aprendido. Así, en el caso del Espacio de Versiones y AQ dicha expresividad vendrá limitada por la de la propia lógica de proposiciones (reglas y ejemplos descritos en términos de atributo-valor). En cambio, en el caso de la programación lógica inductiva (ILP, del inglés Inductive Logic Programming ), el grado de expresividad del modelo aprendido será mayor al venir formulado en términos de lógica de predicados (reglas y ejemplos descritos en términos de predicados y relaciones).
UNIVERSIDAD NACIONAL DE EDUCACIÓN A DISTANCIA
7
APRENDIZAJE AUTOMÁTICO
Breve introducción Partiendo de la idea del problema de aprendizaje como un problema de búsqueda, la estrategia del Espacio de Versiones (EV) es obtener un grupo reducido de hipótesis que permita explicar adecuadamente todos los ejemplos, tanto positivos como negativos. Los ejemplos son procesados de uno en uno, de tal forma, que en cada iteración, se reduce el grupo de hipótesis que explican, no sólo el ejemplo considerado en la iteración, sino también todos los procesados hasta el momento. Si el conjunto de ejemplos está bien diseñado, existirá un momento en el que el tamaño del conjunto de hipótesis se reducirá a una única hipótesis. Se dice entonces que el algoritmo converge y que la hipótesis resultante representa el concepto aprendido. De otro lado, no hay que olvidar que uno de los primeros intentos de programar mecanismo de aprendizaje en máquinas fue debido a Michalski en los setenta. El resultado fue la creación de una metodología denominada estrella de la que se han derivado numerosas variantes. Todos los posibles algoritmos que se pueden generar a partir del método estrella serán presentados en el presente tema con el nombre genérico de algoritmo A Q. Podría decirse que si las dos técnicas anteriores permiten la aplicación de técnicas de aprendizaje inductivo sobre la lógica proposicional, la programación lógica inductiva (PLI) permite la aplicación de técnicas de aprendizaje inductivo sobre la lógica de predicados de primer orden. Por tanto, dado que este tipo de técnicas permite recibir como entradas descripciones en lógica de predicados, no sólo acepta ejemplos descritos en esa representación, sino también incluye una teoría del dominio. Con esto se consigue cubrir las deficiencias de los métodos inductivos y deductivos, utilizando ideas de ambos. Así, por una parte, los métodos de aprendizaje inductivo no utilizan conocimiento del dominio y, por otra parte, los métodos deductivos no son capaces de generalizar más allá de la descripción del dominio disponible y de un ejemplo de entrenamiento. Por tanto, podría decirse que la PLI realiza una inducción ayudada por el conocimiento del dominio. La programación lógica inductiva tiene su origen en los años setenta, en los primeros sistemas que aprendían conceptos expresados de forma relacional. Desde entonces ha sido mucho el trabajo realizado en esta área. Aquí se estudiará el algoritmo FOIL por ser uno de los más representativos. Una de las desventajas de los tres tipos de algoritmos básicos presentados en este tema es que no son tolerantes al ruido en las entradas (existencia de ejemplos mal etiquetados), lo que supone una característica bastante restrictiva para ser aplicados en problemas del mundo real donde, normalmente, las entradas contienen ruido. Existen, no obstante, versiones de todos ellos que permiten soslayar este problema. Sin embargo, su estudio está fuera del alcance de este curso.
Orientaciones para el estudio Para el estudio del algoritmo de Espacio de Versiones , se recomienda focalizar en los siguientes aspectos: (1) En primer lugar, es crucial entender los conceptos de conjunto de hipótesis máximamente generales (G) y conjunto de hipótesis máximamente específicas (S). Esto es así porque la hipótesis de dichos conjuntos son las que delimitarán el espacio de versiones, es decir, el espacio global de hipótesis consistentes con los ejemplos de entrenamiento. Es decir, el espacio de versiones estará formado por todas las hipótesis de los conjuntos G y S, y por todas aquellas que, simultáneamente, son más específicas que G y más generales que S. El caso ideal es aquel en el que G=S y, entonces, se dice que existe una única hipótesis capaz de explicar todos los ejemplos. (2) Es preciso resaltar también que, aunque el algoritmo hace uso de dos procedimientos básicos, especializar-g y generalizar-s , implementados de forma secuencial, el orden en que se aplican es diferente en función de si el ejemplo que se está procesando es positivo o negativo.
UNIVERSIDAD NACIONAL DE EDUCACIÓN A DISTANCIA
8
|
GUÍA DE ESTUDIO
(3) Las variantes del algoritmo , descritas en pp. 128-133 del texto base, no serán objeto de examen. Se recomienda sólo una lectura atenta. Por otro lado, para el estudio del algoritmo A Q, se recomienda focalizar en los siguientes aspectos: (1) Es importante comprender los conceptos de función LEF, selector , complejo y recubrimiento . (2) En relación al funcionamiento del algoritmo, es importante tener en cuenta que se basa en la realización de dos búsquedas anidadas . En la más externa, denominada método estrella , se busca un conjunto de reglas que clasifiquen correctamente a todos los ejemplos. En la más interna, por cada ejemplo positivo, se busca una regla que describa a dicho ejemplo y no descrina a ninguno negativo. Precisamente, en cómo se realiza esta segunda búsqueda es en lo que difieren, fundamentalmente, los diferentes variantes de este algoritmo. (3) Las variantes del algoritmo , descritas en pp. 149-153 del texto base, no serán objeto de examen. Se recomienda sólo una lectura atenta. Finalmente, para el estudio del algoritmo FOIL , se recomienda focalizar en los siguientes aspectos: (1) La salida del algoritmo es un conjunto de reglas y éstas vienen expresadas en forma de reglas de Horn. Por tanto, el alumno deberá familiarizarse con este tipo de formato. (2) El procedimiento clave en la dinámica del algoritmo es el denominado literal-máximaganancia. Se encarga de elegir el mejor literal para añadir al cuerpo de la cláusula. De todos los posibles literales que se pueden formar con los predicados del dominio, este procedimiento selecciona uno en cada iteración, de acuerdo a un criterio de máxima ganancia, parecido al que se verá más adelante para el algoritmo ID3. Es muy importante que el alumno entienda cada uno de las variables y funciones que aparecen en la fórmula de la ganancia , G(L), y que sea capaz de evaluar cada una de ellas para, de esta forma, poder evaluar correctamente el valor de la ganancia y poder así elegir el literal que determine una mayor ganancia. (3) Igualmente es muy importante entender y saber aplicar las reglas que permiten generar los distintos tipos de literales que se pueden formar (pp. 257-258).
Actividades recomendadas Se recomienda la realización de las siguientes actividades: (1) El alumno debería analizar con detenimiento los ejemplos ilustrativos del texto base, dedicado al estudio del espacio de versiones , el algoritmo A Q y algoritmo FOIL . Seguidamente, debería intentar abordar por su cuenta cada uno de ellos, es decir, sin ayuda de la solución. De cara al examen, la formulación y resolución de un caso práctico relacionado con estos algoritmos podría ser muy similar a lo planteado en el texto base. Dado que, de forma progresiva, se irá incorporando nuevo material al curso virtual, el alumno puede chequear si existen otros ejercicios resueltos relacionados con este algoritmo. (2) Finalmente, el alumno interesado podría ampliar conocimientos, consultando algunas de las referencias bibliográficas que aparecen en el texto base y que están relacionadas con los contenidos de este tema.
UNIVERSIDAD NACIONAL DE EDUCACIÓN A DISTANCIA
9
APRENDIZAJE AUTOMÁTICO
T em a 4 . Ár b o l e s d e D e ci s i ó n y d e R eg r esi ó n
Este tema será estudiado a partir del capítulo 6 del texto base y abarca los siguientes aspectos:
Árboles de Decisión: Algoritmo ID3-C4.5 (Sección 6.1) Árboles de Regresión Algoritmo M5 (Sección 6.2)
Objetivos El principal objetivo de este tema es presentar dos de las técnicas de aprendizaje quizás más conocidas y utilizadas en aprendizaje automático: los árboles de decisión y los árboles de regresión . Más concretamente, en el primer caso, se abordarán los aspectos más relevantes del algoritmo ID3 y su sucesor C4.5 y, en el segundo caso, se describirán las características del algoritmo M5. Breve introducción En el tema anterior se ha estudiado técnicas de aprendizaje supervisado que abordaban problemas de clasificación binarios, es decir, un ejemplo pertenece o no a una determinada clase (concepto objetivo). Además, dichas técnicas no eran tolerantes al ruido en las entradas, lo que dificulta su aplicación en problemas del mundo real. Estas dos limitaciones desaparecen en las técnicas de aprendizaje descritas en este tema. Así, los denominados árboles de decisión abordarán problemas de clasificación en los que la salida del modelo aprendido puede discriminar entre dos o más clases y, además, es tolerante al ruido en las entradas. Incluso, se puede dar un paso más y, en lugar de predecir valores de clase, el objetivo podría ser el de predecir valores continuos. Esta última será la tarea abordada por los denominados árboles de regresión. La clave, a la hora de construir un árbol de decisión , radica en elegir en cada nodo de decisión aquel atributo que tenga mayor capacidad de discriminación sobre los ejemplos asociados al nodo. Es decir, aquél que para cada valor del atributo genera una partición de ejemplos en la que se maximiza la homogeneidad de ejemplos con respecto a los valores de clase. Para ello, se utiliza una función básica de la teoría de la información, denominada entropía , que mide el grado de desorden o impureza de las particiones generadas. Así, dada una partición de ejemplos, si ésta estuviera formada por ejemplos de una única clase, su entropía sería mínima y, al contrario, si estuviera formado por la misma cantidad de ejemplos pertenecientes a cada una de las clases posibles, la entropía sería máxima. Por tanto, a lo largo del proceso recursivo de construcción del árbol se elegirá, en cada nodo de decisión, el atributo que mayor ganancia de información aporte. La ganancia de información se medirá como la diferencia de entropía existente en el conjunto de ejemplos asociados al nodo y el sumatorio de entropías de cada una de las particiones asociadas a cada valor del atributo seleccionado. En el caso de los ejemplos de entrenamiento usados para construir un árbol de regresión , hay que tener en cuenta que, ahora, los valores de clase de cada ejemplo no corresponden a valores discretos sino a valores continuos. Sin embargo, al igual que ocurría con los árboles de decisión, el procedimiento recursivo de elegir el atributo más discriminante en cada nodo de decisión consistirá también en maximizar la homogeneidad de todas y cada una de las particiones que produce. Aquí, en cambio, y dado el carácter continuo de los valores de clase, el cálculo de la medida de homogeneidad ya no se realizará mediante la entropía sino usando el concepto de desviación estándar . Así, dada una partición de ejemplos, si ésta estuviera formada por ejemplos con valores de clase muy parecidos u homogéneos, su desviación estándar sería mínima y, al contrario, si estuviera formada por valores muy dispersos, la desviación estándar sería máxima. En definitiva, el criterio para elegir el atributo más adecuado en cada nodo de decisión de un árbol de regresión será aquél que maximice la reducción del error, medido éste como la diferencia entre la desviación estándar del
UNIVERSIDAD NACIONAL DE EDUCACIÓN A DISTANCIA
10
|
GUÍA DE ESTUDIO
conjunto de ejemplos asociados al nodo antes de la partición y el sumatorio de desviaciones estándar de cada una de las particiones generadas por la selección de un determinado atributo
Orientaciones para el estudio Para el estudio de los Árboles de Decisión , se recomienda focalizar en los siguientes aspectos: (1) Es muy importante que el alumno comprenda, aprenda y maneje con soltura los conceptos de entropía y ganancia de información . (2) Obsérvese que la tarea de maximizar la ganancia de información del atributo a seleccionar en cada nodo es equivalente a la de minimizar la suma de entropías de cada una de las particiones resultantes de aplicar dicho atributo (dado que la entropía asociada a los ejemplos de un nodo es siempre constante). De esta forma, se simplificará el cálculo de la ganancia de información al no ser necesario el cálculo de la entropía de los ejemplos asociado a un nodo antes de su partición. (3) Resulta muy interesante el estudio de las variantes del algoritmo , descritas en pp. 288-293 del texto base. Todas ellos surgieron como mejoras del algoritmo básico ID3 y la recopilación de todas ellas dio lugar al algoritmo C4.5. Para el estudio de los Árboles de Regresión , se recomienda focalizar en los siguientes aspectos: (1) Dado que la desviación estándar asociada a los ejemplos de un nodo es siempre constante, el criterio de maximización de la minimización del error es equivalente al de minimizar la suma de desviaciones estándar de cada una de las particiones resultantes de seleccionar un atributo. De esta forma, se simplificará el cálculo del error al no ser necesario el cálculo de la desviación estándar de los ejemplos asociado a un nodo antes de su partición. Es más, dado que la desviación estándar se obtiene como la raíz cuadrada de la varianza, se podría reducir aún más el cálculo del error calculando la suma de varianzas de cada una de las particiones resultantes. (2) Al estudiar al algoritmo asociado a la construcción de árboles de regresión, el alumno comprobará que además de construir el árbol como resultado de aplicar recursivamente el criterio de maximización de la reducción del error, será necesario la construcción y simplificación de modelos de regresión lineal en cada uno de los nodos de árbol. Sin embargo, queda fuera del alcance del temario de esta asignatura la construcción de modelos de regresión lineales . Por tanto, de cara al examen, la resolución de un problema de este tipo no implicaría el cálculo del modelo de regresión asociado a cada uno de los nodos del árbol. Como aproximación, se podría sustituir el modelo de regresión de cada uno de los nodos hoja por el valor medio de los valores de clase de cada uno de ejemplos pertenecientes a cada uno de dichos nodo hoja. (3) Si el alumno consulta otros textos, es posible que encuentre este tipo de árboles bajo el nombre de árboles de modelo (del inglés, model trees). Es el nombre que Quinlan, el creador del algoritmo M5, utilizó para designar lo que aquí llamamos árboles de regresión.
Actividades recomendadas Se recomienda la realización de las siguientes actividades: (1) El alumno debería analizar con detenimiento los ejemplos ilustrativos del texto base, dedicados al algoritmo ID3 y al algoritmo M5. Seguidamente, debería intentar abordarlo por su cuenta, es decir, sin ayuda de las soluciones. De cara al examen, la formulación y resolución de un caso práctico relacionado con estos algoritmos podría ser muy similar al planteado en el texto base. Dado que, de
UNIVERSIDAD NACIONAL DE EDUCACIÓN A DISTANCIA
11
APRENDIZAJE AUTOMÁTICO
forma progresiva, se irá incorporando nuevo material al curso virtual, el alumno puede chequear si existen otros ejercicios resueltos relacionados con este algoritmo. (2) Finalmente, el alumno interesado podría ampliar conocimientos, consultando algunas de las referencias bibliográficas que aparecen en el texto base y que están relacionadas con los contenidos de este tema. T em a 5 . A p r en d i z a j e b a s a d o en I n s t a n c i a s
Este tema será estudiado a partir de la sección 6.3 del texto base y abarca los siguientes aspectos:
Algoritmo k-NN (Sección 6.3)
Objetivos El objetivo de este tema es presentar técnicas que permiten realizar tareas de clasificación a partir de un conjunto de ejemplos de entrada, sin necesidad de crear un modelo como, por ejemplo, sí hacen las técnicas que se han presentado hasta ahora. Concretamente, se estidiará el algoritmo más representativo de este tipo de técnicas, el algoritmo de los k vecinos más cercanos (k-nn , del inglés k-nearest neighbors ) Breve introducción De forma genérica, las técnicas aquí presentadas reciben el nombre de técnicas de aprendizaje basadas en instancias (IBL, del inglés Instance Based Learning ) o técnicas de aprendizaje vago (del inglés, lazy learning ). Esta última denominación hace referencia a que, precisamente, este tipo de técnicas implican muy poco esfuerzo computacional a la hora de aprender, reflejado en el hecho de que no generan modelos de aprendizaje a partir de los ejemplos. Simplemente, se limitan a almacenar dichos ejemplos de tal forma que, a la hora de clasificar un ejemplo no visto, el algoritmo utiliza como entrada todos los ejemplos almacenados. Orientaciones para el estudio Dado que el algoritmo k-nn, a la hora de clasificar un ejemplo no visto, utiliza todo el conjunto de ejemplos como entrada y no dispone de modelo aprendido, el alumno debe incidir principalmente en el apartado dedicado a la “Utilización de lo aprendido ”. Es aquí donde reside la esencia de la operativa del algoritmo. Actividades recomendadas Se recomienda la realización de las siguientes actividades: (1) El alumno debería analizar con detenimiento el ejemplo ilustrativo, dedicado al algoritmo k-nn , presentado en la colección de problemas resueltos del curso virtual. Seguidamente, debería intentar abordarlo por su cuenta, es decir, sin ayuda de la solución. De cara al examen, la formulación y resolución de un caso práctico relacionado con este algoritmo podría ser muy similar a la aquí planteada. Dado que, de forma progresiva, se irá incorporando nuevo material al curso virtual, el alumno puede chequear si existen otros ejercicios resueltos relacionados con este algoritmo. (2) También, el alumno interesado podría ampliar conocimientos, consultando algunas de las referencias bibliográficas que aparecen en el texto base y que están relacionadas con los contenidos de este tema.
UNIVERSIDAD NACIONAL DE EDUCACIÓN A DISTANCIA
12
|
GUÍA DE ESTUDIO
T em a 6 . Cl a s i f i c a d o r es B a y esi a n o s
Este tema será estudiado a partir de la sección 6.4 del texto base y abarca el estudio del siguiente algoritmo:
Algoritmo Naive-Bayes (Sección 6.4)
Objetivos El principal objetivo de este tema es realizar un acercamiento al mundo de los denominados clasificadores bayesianos . Para ello, describiremos la versión más simple de este tipo de algoritmos: el algoritmo NaiveBayes . Breve introducción El objetivo de los clasificadores bayesianos, al igual que los árboles de decisión, es el de crear un modelo, a partir de un conjunto de entrenamiento, que sea capaz de clasificar ejemplos no vistos. Como hablamos de clasificador, esto presupondrá que la clase de los ejemplos de entrenamiento viene dada por valores discretos o etiquetas. Este tipo de clasificadores se basan en estimar la probabilidad de pertenencia a una clase mediante la estimación de las probabilidades condicionadas, utilizando para ello el teorema de Bayes . Hay que tener en cuenta que el algoritmo Naive-Bayes asume independencia estadística , es decir, asume que el valor de los atributos es independiente dada la clase. Sin embargo, esta propiedad puede no cumplirse en algunos problemas. Por tanto, antes de aplicar este algoritmo, es siempre conveniente chequear si, para el problema de clasificación que se esté abordando, es razonable o no esta asunción. Orientaciones para el estudio Para el estudio del algoritmo Naive-Bayes se recomienda focalizar en los siguientes aspectos: (1) La aplicación de algoritmo Naive-Bayes implica la utilización del teorema de Bayes . Por tanto, se recomienda que todo alumno que no esté familiarizado con este teorema estudie atentamente la formulación de este teorema (pp. 319-321 del texto base). (2) También se recomienda repasar los conceptos de probabilidad a priori , probabilidad condicionada y distribución normal . (3) Finalmente, para la determinación de los parámetros del modelo, el alumno deberá distinguir entre si el atributo es discreto o continuo para realizar el cálculo de las probabilidades condicionadas. En el primer caso (atributo discreto) la estimación dichas probabilidades se basará en la frecuencia de aparición del valor del atributo en el conjunto de ejemplos de entrenamiento y, en el segundo caso (atributo continuo), el cálculo las probabilidades implicará la asunción de un tipo de distribución asociada el atributo (normalmente, se considerará una distribución normal).
Actividades recomendadas Se recomienda la realización de las siguientes actividades: (1) El alumno debería analizar con detenimiento el ejemplo ilustrativo del texto base, dedicado al algoritmo Naive-Bayes , y, seguidamente, debería intentar abordarlo por su cuenta, es decir, sin ayuda de la solución. De cara al examen, la formulación y resolución de un caso práctico relacionado con este algoritmo podría ser muy similar a la aquí planteada. Dado que, de forma progresiva, se irá incorporando nuevo material al curso virtual, el alumno puede chequear si existen otros ejercicios resueltos relacionados con este algoritmo.
UNIVERSIDAD NACIONAL DE EDUCACIÓN A DISTANCIA
13
APRENDIZAJE AUTOMÁTICO
(2) También, el alumno interesado podría ampliar conocimientos, consultando algunas de las referencias bibliográficas que aparecen en el texto base y que están relacionadas con los contenidos de este tema. T em a 7. R ed e s d e N e u r o n a s A r t i f i c i a l e s ( R N A )
Este tema será estudiado a partir de la sección 9.1 del texto base y abarca los siguientes aspectos:
Aprendizaje de RNAs por retro-propagación del error (Sección 9.1)
Objetivos El objetivo principal de este tema es introducir las denominadas redes neuronales artificiales , un nuevo paradigma de aprendizaje supervisado inspirado en la forma en que funciona el sistema nervioso de los animales. Básicamente, una red neuronal consiste en una red de elementos de proceso interconectados, denominadas neuronas, que permiten aprender la información subyacente en un conjunto de ejemplos de entrenamiento. Dicha información es almacenada de forma implícita en la topología de la red y en los pesos asociados a cada conexión. Aunque existen diferentes tipos de redes neuronales, aquí nos centraremos en el perceptrón multicapa y su algoritmo de aprendizaje estrella, denominado método de retropropagación del error o en inglés backpropagation . Breve introducción Los primeros modelos de redes neuronales datan de 1943 por los neurólogos McCulloch y Pitts. Años más tarde, en 1949, Donald Hebb desarrolló sus ideas sobre el aprendizaje neuronal, quedando reflejado en la "regla de Hebb ". En 1958, Rosemblatt desarrolló el perceptrón simple, y en 1960, Widrow y Hoff desarrollaron el ADALINE. En los años siguientes, se redujo la investigación, debido a la falta de modelos de aprendizaje y el estudio de Minsky y Papert sobre las limitaciones del perceptrón. Sin embargo, en los años 80, volvieron a resurgir las RNA gracias al desarrollo de la red de Hopfield , y en especial, al algoritmo de aprendizaje de retropropagación ideado por Rumelhart y McLellan en 1986 que fue aplicado en el desarrollo de los perceptrones multicapa . Las características de las RNA las hacen bastante apropiadas para aplicaciones en las que no se dispone a priori de un modelo identificable que pueda ser programado, pero se dispone de un conjunto básico de ejemplos de entrada. Asimismo, son altamente robustas tanto al ruido como a la disfunción de elementos concretos y son fácilmente paralelizables . Por el contrario, los modelos generados (la propia red) son difícilmente interpretables .
Orientaciones para el estudio Para el estudio de este tema, se recomienda focalizar en los siguientes aspectos: (1) En primer lugar, el alumno debe ser consciente que el método de aprendizaje de retropropagación del error no es aplicable a cualquier topología de RNA sino que sólo es aplicable a un determinado tipo de redes (perceptrón multicapa) que se estudian en este tema. Así, existirá siempre una capa de entrada, otra de salida y una o más capas ocultas. Además, las salidas de la neurona de una determinada capa, sólo pueden conectarse a las entradas de neuronas situadas en una capa inmediatamente posterior, es decir, no se permitirán conexiones entre neuronas de una misma capa, ni entre neuronas de una capa y las de una capa anterior, ni entre neuronas de capas no consecutivas.
UNIVERSIDAD NACIONAL DE EDUCACIÓN A DISTANCIA
14
|
GUÍA DE ESTUDIO
(2) Para entender, tanto el mecanismo de propagación de la información de entrada hasta la salida como el mecanismo de aprendizaje de retropropagación, es muy importante que el alumno comprenda y se familiarice con la notación empleada . (3) Es importante reseñar que una red neuronal es un excelente aproximador de funciones no lineales . En el caso que se sospeche que la función a aproximar sea lineal, existen un gran número de métodos estadísticos que permiten resolver este tipo de problemas, como los denominados métodos de regresión lineal, y que, por tanto, no requerirían explícitamente el uso de una RNA. (4) Para facilitar la deducción de las fórmulas que permiten el cálculo de la actualización del error , δ jk, el alumno tiene que partir de la idea de que lo que se quiere minimizar es el error dado por la ecuación (9.6) del texto base. Bastará entonces derivar dicha expresión y el resultado igualarlo a cero. Este proceso se complica un poco debido a que la salida de cada neurona no es simplemente la suma ponderada de cada una de sus entradas, sino que esta suma ponderada se aplica, finalmente, a una función no lineal, denominada función de activación, constituyendo este valor la salida de la neurona. Sin embargo, eligiendo convenientemente esta función, se puede aún simplificar el cálculo de la derivada. Por último, hay que tener en cuenta también que el cálculo de dicha derivada se simplifica para las células que están en la capa de salida porque el error obtenido por dichas neuronas es calculable directamente al ser conocido el valor deseado de salida. Sin embargo, para las neuronas de las capas ocultas, no se dispone del valor deseado, es decir, el error ha de ser calculado mediante la propagación hacia atrás de de los valores de los incrementos en cada neurona de cada capa.
Actividades recomendadas Se recomienda la realización de las siguientes actividades: (1) El alumno debería analizar con detenimiento el ejemplo ilustrativo del texto base. Dado que, de forma progresiva, se irá incorporando nuevo material al curso virtual, el alumno puede chequear si existen otros ejercicios resueltos relacionados con este algoritmo. (2) Se propone al alumno que resuelva el mismo problema del ejemplo ilustrativo del texto base utilizando la herramienta Weka (ver Sección 3 de esta guía). (3) También, el alumno interesado podría ampliar conocimientos, consultando algunas de las referencias bibliográficas que aparecen en el texto base y que están relacionadas con los contenidos de este tema. T em a 8 . M áq u i n a s d e V e ct o r es So p o r t e
Este tema será estudiado a partir de un tutorial disponible en el curso virtual y abarca los siguientes aspectos:
Máquinas de Vectores Soporte: Clasificación binaria y regresión (Tutorial descargable desde el curso virtual)
Objetivos Este tema presentará una nueva técnica de aprendizaje supervisado, denominada máquinas de vectores soporte (SVM, del inglés Support Vector Machines) . Sin embargo, tiene sólo carácter introductorio y, por tanto, sólo constituye una primera aproximación a este paradigma de aprendizaje.
UNIVERSIDAD NACIONAL DE EDUCACIÓN A DISTANCIA
15
APRENDIZAJE AUTOMÁTICO
Breve introducción Las máquinas de vectores soporte fueron introducidas por Vapnik a mediados de los 90. Los métodos basados en este paradigma permiten resolver tanto tareas de clasificación como de regresión. Dentro de la tarea de clasificación, las SVMs pertenecen a la categoría de los clasificadores lineales , puesto que inducen separadores lineales o hiperplanos, ya sea en el espacio original de los ejemplos de entrada, si éstos son separables o cuasi-separables (ruido), o en un espacio transformado ( espacio de características ), si los ejemplos no son separables linealmente en el espacio original. La búsqueda del hiperplano de separación en estos espacios transformados se hará de forma implícita utilizando las denominadas funciones kernel . Orientaciones para el estudio Para el estudio de este tema, se recomienda focalizar en los siguientes aspectos: (1) En primer lugar, hay que señalar que, aunque las SVMs se diseñaron inicialmente para resolver problemas de clasificación binaria, en la actualidad se han extendido a tareas de multiclasificación, regresión, agrupamiento e, incluso, se empiezan aplicar a problemas que requieren de salidas más complejas y estructuradas, como puede ser un grafo o un árbol. No obstante, en el estudio de este tema nos centraremos en la aplicación de las SVM a problemas de clasificación binaria y de regresión. (2) Mientras todos los métodos de aprendizaje vistos hasta ahora se centran en minimizar los errores cometidos por el modelo generado a partir de los ejemplos de entrenamiento ( error empírico ), el sesgo inductivo asociado a las SVMs radica en la minimización del denominado riesgo estructural . La idea es seleccionar un hiperplano de separación que equidista de los ejemplos más cercanos de cada clase para, de esta forma, conseguir lo que se denomina un margen máximo a cada lado del hiperplano. Además, a la hora de definir el hiperplano, sólo se consideran los ejemplos de entrenamiento de cada clase que caen justo en la frontera de dichos márgenes. Estos ejemplos reciben el nombre de vectores soporte. (3) Las denominadas funciones kernel juegan un papel importante en la operativa de las SVM y, por tanto, el alumno deberá poner un especial interés en el estudio de este tipo de funciones. (4) Desde un punto de vista algorítmico, el problema de optimización del margen geométrico representa un problema de optimización cuadrático con restricciones lineales que puede ser resuelto mediante técnicas estándar de programación cuadrática. Dado que el estudio de este tipo de técnicas queda fuera del alcance de este temario, el principal objetivo de este tema radica en que el alumno estudie y comprenda cómo se formaliza el problema abordado por las SVMs (ya sea de clasificación o de regresión) hasta llegar a transformarlo, finalmente, en un problema de optimización cuadrático.
Actividades recomendadas Existe un número importante de repositorios web y paquetes software de libre distribución dedicados a la implementación de SVMs y muchas de sus variantes. Así, por ejemplo, la librería LIBSVM es un paquete software pensado para resolver problemas de clasificación y regresión mediante máquinas de vectores soporte. En su página web (http://www.csie.ntu.edu.tw/~cjlin/libsvm/) dispone de un applet para implementar sencillos problemas de clasificación y de regresión en dos dimensiones. Se recomienda al alumno el uso de este applet como primera toma de contacto en el uso de las SVM.
UNIVERSIDAD NACIONAL DE EDUCACIÓN A DISTANCIA
16
|
GUÍA DE ESTUDIO
2.3 Parte III: Aprendizaje No Supervisado El estudio de esta parte abarca los siguientes temas del curso:
Tema 9. Agrupamiento (Clustering) Tema 10. Mapas Auto-organizados
Objetivos En todas las técnicas presentadas en la Parte II de la asignatura, el proceso de inducción utilizado para aprender el modelo partía de la suposición de que los ejemplos utilizados para entrenar el sistema están etiquetados con la clase a la que pertenecen (aprendizaje supervisado). Sin embargo, esta suposición no es válida en aquellos dominios en los que no se conoce la clase a la que pertenece cada ejemplo de entrenamiento e, incluso, tampoco se conoce el número de clases. Por tanto, el objetivo principal de esta parte del temario es presentar un conjunto de técnicas que abordan este tipo de problemas y que, de forma genérica, reciben el nombre de técnicas de agrupación (del inglés, clustering ) o, también, técnicas de aprendizaje no supervisado . T em a 9 . A g r u p a m i en t o ( Cl u s t er i n g )
Este tema será estudiado a partir de las secciones 8.1 y 8.2 del texto base y abarca los siguientes aspectos:
Estrategia Aglomerativa (sección 8.1) Algoritmo k-medias (sección 8.2)
Objetivos El principal objetivo de este tema es presentar dos técnicas de agrupamiento, muy utilizadas por la estadística, como son la estrategia aglomerativa y la agrupación en k-medias . Ambas técnicas tienen la particularidad de que trabajan con conjuntos de entrenamiento con atributos numéricos. No obstante, existen otras técnicas de agrupamiento que manejan atributos discretos, pero quedan fuera del temario de esta asignatura. Breve introducción La estrategia aglomerativa fue introducida a principio de los 80 por Everitt. Básicamente, consiste en, dado un conjunto de ejemplos sin etiquetar descrito por valores de atributos, obtener una jerarquía de clases que incluya, cada una de ellas, a un subconjunto del conjunto de ejemplos. A estas jerarquías se les denomina dendogramas. En ellas, cada nodo representa una clase de observaciones. Por otro lado, la agrupación basada en el algoritmo k-medias no se basa en un proceso de jerarquización de clases. En este caso, los ejemplos del conjunto de entrenamiento se agrupan en subconjuntos formados por ejemplos “parecidos” entre sí. Es decir, el objetivo es obtener una partición del conjunto de ejemplos que maximice la similitud entre los ejemplos de cada partición (clase) y minimice la similitud entre diferentes particiones (clases). Tiene la peculiaridad de que el número de clases debe ser proporcionado a priori por el usuario
Orientaciones para el estudio Para el estudio de la estrategia aglomerativa , se recomienda focalizar en los siguientes aspectos: (1) Además de estudiar el proceso algorítmico que subyace en este tipo de técnica de aprendizaje, resulta también útil comprender cómo se realiza la utilización de lo aprendido , es decir, cómo se clasifica un ejemplo no visto, utilizando el modelo aprendido.
UNIVERSIDAD NACIONAL DE EDUCACIÓN A DISTANCIA
17
APRENDIZAJE AUTOMÁTICO
Para el estudio del algoritmo k-medias , se recomienda focalizar en los siguientes aspectos: (1) Es importante señalar que este algoritmo es dependiente de los centroides iniciales , normalmente elegidos de forma aleatoria. Una mala elección de dichos centroides puede provocar la no convergencia del algoritmo. (2) También es dependiente de los rangos de variación de los dominios de definición de cada uno de los atributos de los ejemplos. Por ello, antes de usar el algoritmo, se requiere una fase de preprocesamiento para normalizar todos los atributos . (3) Finalmente, puede ocurrir que, aunque se desconozca el valor de clase de cada ejemplo, se conozca el número de clases que representa al conjunto de ejemplos . Sin embargo, en la mayoría de las ocasiones esta información no es conocida. Dado que el número de clases es un parámetro de entrada al algoritmo, en aquellos casos en los que esta información sea desconocida, supondrá un conjunto de pruebas de ensayo y error para determinar el mejor valor.
Actividades recomendadas Se recomienda la realización de las siguientes actividades: (1) El alumno debería analizar con detenimiento los ejemplos ilustrativos del texto base, dedicados a la Estrategia Aglomerativa y al algoritmo k-medias . Seguidamente, debería intentar abordarlos por su cuenta, es decir, sin ayuda de la solución. De cara al examen, la formulación y resolución de un caso práctico relacionado con estos algoritmos podría ser muy similar a los planteados en el texto base. Dado que, de forma progresiva, se irá incorporando nuevo material al curso virtual, el alumno puede chequear si existen otros ejercicios resueltos relacionados con este algoritmo. (2) También, el alumno interesado podría ampliar conocimientos, consultando algunas de las referencias bibliográficas que aparecen en el texto base y que están relacionadas con los contenidos de este tema. T em a 10 . M a p a s A u t o - o r g a n i za d o s
Este tema será estudiado a partir de la sección 9.2 del texto base y abarca los siguientes aspectos:
Redes Neuronales auto-organizadas (Sección 9.2)
Objetivos En la Parte II, se presentaron las redes neuronales artificiales (RNAs) como uno de los paradigmas del aprendizaje supervisado. Sin embargo, el principal objetivo de este tema es mostrar que existen determinados tipo de RNAs que pueden utilizarse para realizar aprendizaje no supervisado. Son las denominadas redes neuronales auto-organizadas . Breve introducción Tal vez los modelos más característicos de redes no supervisadas sean los de Kohonen , llamadas así en honor al científico finlandés que las creó, siendo también los más utilizados en casos prácticos. El objetivo de una RNA auto-organizada es descubrir por sí sola características, regularidades, correlaciones, o categorías en los ejemplos de entrada, y mostrarlas de forma codificada en la salida. Es por esto que se dice que la red muestra cierto grado de auto-organización , y reciben este nombre. UNIVERSIDAD NACIONAL DE EDUCACIÓN A DISTANCIA
18
|
GUÍA DE ESTUDIO
Orientaciones para el estudio Para el estudio de las redes neuronales auto-organizadas , se recomienda focalizar en los siguientes aspectos: (1) Es importante estudiar y comprender la denominada regla de Hebb . Esta regla de inspiración biológica es interesante, no sólo porque permite comprender cómo una RNA auto-organizada es capaz de dirigir el aprendizaje de la red, sino también porque permite implementar diferentes variantes de esta regla, es decir, no existe una única implementación de la regla de Hebb, sino diferentes versiones de reglas tipo Hebb. (2) El alumno deberá prestar especial atención al concepto de mapa de características . Es el concepto clave en el que se basan las RNAs auto-organizadas de Kohonen. (3) Tal y como se dice en el apartado de “variantes ”, al final de la sección 9.2, las RNAs autoorganizadas de Kohonen pueden convertirse en modelos supervisados, introduciendo algunas modificaciones. Sin embargo, este tipo de variaciones quedan fuera del alcance de este curso y sólo se recomienda una lectura atenta de esta nueva variante.
Actividades recomendadas Se recomienda la realización de las siguientes actividades: (1) El alumno debería analizar con detenimiento el ejemplo ilustrativo del texto base. Dado que, de forma progresiva, se irá incorporando nuevo material al curso virtual, el alumno puede chequear si existen otros ejercicios resueltos relacionados con este algoritmo. (2) También, el alumno interesado podría ampliar conocimientos, consultando algunas de las referencias bibliográficas que aparecen en el texto base y que están relacionadas con los contenidos de este tema.
2.4 Parte IV: Otros tipos de Aprendizaje El estudio de esta parte abarca los siguientes temas del curso:
Tema 11. Aprendizaje por refuerzo
Objetivos Las técnicas de aprendizaje presentadas hasta aquí han sido de dos tipos: supervisadas (cada ejemplo de entrenamiento incorpora la clase a la que pertenece) o no supervisadas (los ejemplos no disponen de la información de clase). Sin embargo, existe un conjunto de problemas en los que a los ejemplos se le asocia una especie de información retardada en el tiempo y que, de alguna manera, puede entenderse desde la perspectiva de las demás técnicas de aprendizaje como un valor de clase, delimitado por sólo dos valores posibles (recompensa o castigo). Las técnicas que abordan este tipo de problemas son conocidas, de forma genérica, con el nombre de técnicas de aprendizaje por refuerzo . El principal objetivo de esta última parte del temario será presentar uno de los algoritmos más representativos de este tipo de técnicas, el denominado algoritmo Q-learning .
UNIVERSIDAD NACIONAL DE EDUCACIÓN A DISTANCIA
19
APRENDIZAJE AUTOMÁTICO
T em a 11. A p r en d i z a j e p o r r ef u e r zo
Este tema será estudiado a partir del capítulo 10 del texto base y abarca los siguientes aspectos:
Algoritmo Q-learning (Capítulo 10)
Objetivos El principal objetivo del presente tema es introducir el algoritmo Q-learning , uno de los algoritmos más representativos de las denominadas técnicas de aprendizaje por refuerzo. Desde un punto de vista más general, también se presentarán las características comunes de este tipo de técnicas. Breve introducción La meta de las técnicas de aprendizaje por refuerzo es adquirir conocimiento, normalmente denominado , que permita determinar, una vez adquirido, la mejor acción a realizar desde un estado polí tica de acción dado. La acción a elegir será siempre aquella que maximice el refuerzo (recompensa) esperado. Básicamente, la forma de adquirir este conocimiento (modelo) es la siguiente: se irá construyendo progresivamente una tabla en la que se relaciona cada estado posible si con cada acción posible a j, aprendiendo cuál es el refuerzo esperado al realizar la acción a j cuando el sistema se encuentra en el estado si. Algunos ejemplos de problemas abordados por este tipo de técnicas son el control de un robot móvil, la optimización de las operaciones a realizar en cadenas de montaje de una fábrica, o el aprendizaje de la mejor estrategia para jugar juegos de tablero (damas, ajedrez, etc.) En este tema se va a presentar una técnica propuesta por Watkins, algoritmo Q-learning , que está encuadrada dentro de los denominados problemas de decisión de Markov , es decir, aquellos en los que la política de acción (qué acción realizar en cada estado) se basa sólo en el conocimiento del estado actual, y no en la historia previa (secuencia de estados y acciones previas).
Orientaciones para el estudio Para el estudio del algoritmo Q-learning se recomienda focalizar en los siguientes aspectos: (1) Para abordar el aprendizaje de este algoritmo es clave entender y saber manejar la fórmula de actualización de cada estado , Qt(s,a). (2) También deberá centrarse en cómo hacer uso del modelo aprendido , es decir, cuál es la mejor acción a elegir cuando el sistema se encuentra en un estado dado.
Actividades recomendadas Se recomienda la realización de las siguientes actividades: (1) El alumno debería analizar con detenimiento el ejemplo ilustrativo del texto base, dedicado al algoritmo Q-learning y, seguidamente, debería intentar abordarlo por su cuenta, es decir, sin ayuda de la solución. De cara al examen, la formulación y resolución de un caso práctico relacionado con este algoritmo podría ser muy similar a la aquí planteada. Dado que, de forma progresiva, se irá incorporando nuevo material al curso virtual, el alumno puede chequear si existen otros ejercicios resueltos relacionados con este algoritmo.
UNIVERSIDAD NACIONAL DE EDUCACIÓN A DISTANCIA
20
|
GUÍA DE ESTUDIO
(2) También, el alumno interesado podría ampliar conocimientos, consultando algunas de las referencias bibliográficas que aparecen en el texto base y que están relacionadas con los contenidos de este tema.
3.- ORIENTACIONES PARA LA REALIZACIÓN DEL PLAN DE ACTIVIDADES En esta sección de la Guía se describen los diferentes tipos de actividades propuestas en esta asignatura. Básicamente, se puede hablar de dos tipos de actividades: actividades recomendadas y actividades evaluables.
3.1 Actividades recomendadas A lo largo de la sección 2, y para cada uno de los temas que componen el temario de la asignatura, se ha propuesto al alumno una serie de actividades, orientadas básicamente a trabajar los aspectos prácticos relacionados con cada tema. La característica común de todas estas actividades es que no son obligatorias ni evaluables, es decir, se deja su realización a criterio del alumno. De esta forma, el alumno podrá trabajar aquellos aspectos que considere más oportunos en función del tiempo disponible y de las dificultades que haya podido tener en el estudio de cada tema.
3.2 Actividades evaluables (PECs) En esta sección se proponen dos actividades evaluables y que corresponden a lo que, normalmente, se denominan pruebas de evaluación continua (PEC). La particularidad de estas actividades es que no son obligatorias pero sí son evaluables, y su calificación repercute en la nota final de la asignatura. Así, la calificación de estas dos actividades representará un 10% de la nota final de la asignatura. La calificación del examen representará el 90% restante. Esto significa que aquel alumno que decida no realizarlas, seguirá teniendo la opción de presentarse al examen y, por tanto, de poder aprobar la asignatura. No obstante, la calificación de la nota final de la asignatura de un alumno que no hay realizado las PECs vendrá dada sólo y exclusivamente por la nota de examen y, por consiguiente, nunca podré ser superior a 9. La realización de las prácticas no implica la asistencia del alumno al Centro Asociado, su entrega se hará a través del curso virtual y serán corregidas por los profesores tutores. Por tanto, todo el proceso podrá ser realizado desde casa, necesitando tan sólo para ello de un ordenador y del software Weka ( Waikato Environment for Knowledge Analysis ), descargable desde el siguiente link: http://www.cs.waikato.ac.nz/ml/weka/ Weka es una plataforma de software que implementa una gran cantidad de algoritmos de aprendizaje automático y de minería de datos, está codificada en Java y ha sido desarrollada en la Universidad de Waikato (Nueva Zelanda). Weka es un software libre distribuido bajo licencia GNU-GPL. En el citado link, además de poder descargar este software, el alumno tendrá acceso a otros recursos, tales como documentación, FAQs y conjuntos de ejemplo de entrenamiento, entre otras cosas. El alumno también dispondrá en el curso virtual de la asignatura de un tutorial de Weka (escrito en castellano). Las dos actividades propuestas corresponderán a alguno de los contenidos de los dos partes más extensas de la asignatura, Parte II y III, y cada una de ellas consistirá en el diseño de distintos experimentos de aprendizaje. Así, la primera actividad estará relacionada con técnicas de aprendizaje supervisado y la
UNIVERSIDAD NACIONAL DE EDUCACIÓN A DISTANCIA
21
APRENDIZAJE AUTOMÁTICO
segunda con técnicas de aprendizaje no supervisado. Los guiones que describen los objetivos de cada práctica, el (los) problema-s a resolver, así como las orientaciones para su realización se podrán descargar desde el curso virtual de la asignatura. No obstante, a continuación se mostrará información de carácter general de cada una de ellas.
A 1. D i s eño d e ex p e r i m e n t o s c o n t é cni cas de ap r end iza je sup er vi sad o
Objetivo: Resolver un problema que implique el uso de técnicas de aprendizaje supervisado. Orientaciones acerca de su realización : descritas en el guión de la práctica, descargable desde el curso virtual. Orientaciones sobre el uso de los medios y recursos para llevarla a cabo: sólo se necesitará un ordenador y el software Weka. Tiempo estimado de realización : Una semana (10 horas) Plazo máximo de entrega: se indicará en el curso virtual (alrededor de la semana 9 del primer cuatrimestre). Criterios de evaluación : descritos en el guión de la práctica, descargable desde el curso virtual. A 1. D i s eño d e e x p e r i m e n t o s c o n t é cni cas de ap r end i zaj e n o sup er vi sad o
Objetivo: Resolver un problema que implique el uso de técnicas de aprendizaje no supervisado. Orientaciones acerca de su realización : descritas en el guión de la práctica, descargable desde el curso virtual. Orientaciones sobre el uso de los medios y recursos para llevarla a cabo: sólo se necesitará un ordenador y el software Weka. Tiempo estimado de realización : Una semana (10 horas) Plazo máximo de entrega: se indicará en el curso virtual (alrededor de la semana 12 del primer cuatrimestre). Criterios de evaluación : descritos en el guión de la práctica, descargable desde el curso virtual.
UNIVERSIDAD NACIONAL DE EDUCACIÓN A DISTANCIA
22
|
GUÍA DE ESTUDIO
4.- GLOSARIO A continuación se ofrece una serie de enlaces que el alumno puede consultar como glosario de términos relacionado con los contenidos de la asignatura: - The Machine Learning Dictionary: http://www.cse.unsw.edu.au/~billw/mldict.html . - Special Issue on Applications of Machine Learning and the Knowledge Discovery Process: http://robotics.stanford.edu/~ronnyk/glossary.html.
UNIVERSIDAD NACIONAL DE EDUCACIÓN A DISTANCIA
23