UNIVERSIDAD CENTRAL DE VENEZUELA FACULTAD DE INGENIERÍA MAESTRÍA EN COMPUTACIÓN EMERGENTE COMPUTACIÓN EMERGENTE I Profesor: Andrés Scarioni
TAREA No1 REDES NEURONALES: EL PERCEPTRÓN SIMPLE
Lic. José Leonardo Alvarado C.I. 7.924.530 e-mail:
[email protected] Caracas 07 de noviembre de 2007.
COMPUTACIÓN EMERGENTE I TAREA No 1 INTRODUCCIÓN Las Redes Neuronales Artificiales RNA, constituyen un paradigma computacional inspirado en la manera en que los sistemas biológicos procesan información, un ejemplo de este sistema lo constituye el cerebro humano. Las redes neuronales emplean unidades de procesamientos de información sencillas, altamente interconectadas con pesos sinápticos adaptables que se van modificando en la medida en que la red neuronal va procesando la información. Las redes neuronales no se programan si no que pueden ser sometidas a un procedimiento de “aprendizaje” o “entrenamiento”, en este procedimiento se establece una asociación entre los patrones con los cuales se entrena. Una red neuronal entrenada tiene la capacidad de generalización, es decir es capaz de aprender las características generales de de una categoría de patrones. El objetivo de este trabajo es implementar uno de los modelos de programación neuronal conocido como el Perceptrón Simple. El Perceptrón a implementar estará formado por una sola unidad de procesamiento (UP) y será entrenado utilizando diferentes conjuntos de patrones. Se hará un seguimiento de los modificaciones de los pesos sinápticos en el proceso de aprendizaje y se establecerá en qué casos hubo o no aprendizaje, para de esta manera conocer cómo operan y las potencialidades de su funcionamiento.
1. MARCO TEÒRICO El Perceptrón es un dispositivo determinista de topología a capas que puede configurarse con un número arbitrario de capas, el más sencillo formado por una sola capa se denomina Perceptrón Simple (PS). Los dispositivos neuronales del tipo PS están formados por un número n fijo de UP cada uno con un número m de entradas para recibir patrones m-dimensionales. Este dispositivo debe ser capaz de “aprender” la correlación entre los patrones de entrada y salida. La figura 1.1 muestra un esquema de la arquitectura del PS.
S1 Wm
. . . Sn Wm
Fig. 1.1 Representación esquemática del Perceptrón Simple de una sola capa.
El modo de entrenamiento del Perceptrón es del tipo supervisado. Durante la etapa de aprendizaje se van presentando los patrones y el dispositivo es capaz de inducir una relación entre los patrones de entrada y salida. El cómputo realizado en la r-ésima UP para el caso de una salida binaria viene dado por la siguiente ecuación:
Sr = θ ∑ w x − u = m
ri
i
r
Ec. 1
i 1
Donde es la función de Heaviside ; w ri son los pesos sinápticos, xi representan las componentes del patrón de entrada y ur es el umbral de UP r-ésima .
Para que el Perceptrón sea capaz de relacionar el conjunto de entradas con las salidas, el vector de pesos w debe ser tal que la proyección de todos los patrones de entrada x sobre w tengan el mismo signo que el de la salida deseada (1’s y 0’s para el caso binario). La frontera entre las proyecciones negativas y positivas de x sobre w es el hiperplano w·x=0.
Regla de aprendizaje En el proceso de aprendizaje se deben determinar los pesos sinápticos w para que el Perceptrón represente la relación entrada/salida de la forma más fidedigna posible. La regla para modificar iterativamente los pesos sinápticos, para el caso de salidas binarias, viene dada por la ecuación 2
δ wri λ ( ζ r S r ) xi Ec 2. Partiendo de un conjunto inicial de pesos sinápticos se van realizando modificaciones de los pesos hasta que se alcance el plano separador. La inicialización de los pesos puede realizarse aleatoriamente o en tabula rasa con todos los pesos en cero. =
−
También se pueden acumular las correcciones individuales para cada patrón para hacer la modificación al final del proceso de aprendizaje según la ecuación 3. m
δ wri
= λ ∑ (ζ − S ) x k
k
k
r
r
i
Ec. 3
k
Existe un teorema que establece que la regla de aprendizaje del Perceptrón converge en un número finito de pasos, aunque esto es válido para el caso en que los patrones sean linealmente separables. En los casos en que los patrones no sean linealmente separables, el Perceptrón fallará, esto reduce considerablemente el campo de aplicaciones.
2. PROBLEMA Se desea implementar un Perceptrón Simple: 1. Realizar el entrenamiento de con la funciones lógicas AND, OR y XOR y ver en que casos el Perceptrón puede ser entrenado. 2. Emplear patrones de dos y tres dimensiones. 3. Hacer un seguimiento de los pesos sinápticos durante el proceso de entrenamiento.
3. IMPLEMENTACIÓN La implementación del Perceptrón Simple se realizó con el programa Visual C+ + 6.0. Se utilizó sólo una unidad de procesamiento UP, que genera una salida binaria dada por la ecuación 1
Algoritmo de aprendizaje del Perceptrón A continuación se presenta el algoritmo de actualización de los pesos sinápticos 1. Inicializar los pesos sinápticos. 2. Presenta el patrón a la red, junto con la salida esperada en forma de pares entrada/salida. (iteración k ) y se calcula la salida con la ec. 1. 3. Modificar de los pesos sinápticos de acuerdo a la ec. 2. 4. Parar si no se han modificado los pesos en las últimas p iteraciones. Caso contrario regresar a 2 con k=k+1. La implementación realizada en este trabajo se describe a continuación:
Inicialización de los pesos: Se implementó para que la inicialización de los pesos se realizara de dos maneras: aleatoria (entre -1 y 1) o en tabula rasa con todas las componentes del peso en cero.
Umbral: El umbral se incluyó explícitamente en una componente adicional del vector de pesos wo y en el patrón de entrada con valor xo=-1.
Regla de aprendizaje: La regla para la modificación de los pesos viene dada por la ecuación 2 en el caso de salidas binarias. Para un conjunto de entrenamiento formado por m patrones, se emplea la ecuación 3, esta ecuación se emplea en el caso de entrenamiento por lotes, donde las variaciones de los pesos con cada patrón se van acumulando.
Patrones de entrada: Se emplearon patrones de aprendizaje bidimensionales que corresponden a las funciones lógicas AND OR y XOR
En el caso de dos dimensiones los patrones de entrenamiento son a) Para la función
AND X1 (input) X2 (input) Y(output)
0 0 0
0 1 0
1 0 0
1 1 1
X1 (input) X2 (input) Y (output) c) Para la función XOR X1 (input) X2 (input) Y (output)
0 0 0
0 1 1
1 0 1
1 1 1
0 0 0
0 1 1
1 0 1
1 1 0
b) Para la función
OR
Para el caso de patrones de tres dimensiones se tienen los patrones:
AND X1 (input) 0 X2 (input) 0 X3(input) 0 Y(output) 0
0 0 1 0
0 1 0 0
0 1 1 0
1 0 0 0
1 0 1 0
1 1 0 0
1 1 1 1
OR X1 (input) X2 (input) X3(input) Y(output)
0 0 0 0
0 0 1 1
0 1 0 1
0 1 1 1
1 0 0 1
1 0 1 1
1 1 0 1
1 1 1 1
XOR X1 (input) 0 X2 (input) 0 X3(input) 0 Y(output) 0
0 0 1 1
0 1 0 1
0 1 1 0
1 0 0 1
1 0 1 0
1 1 0 0
1 1 1 1
d) Para la función
e) Para la función
f) Para la función
4. RESULTADOS Y ANÁLISIS Se realizaron experimentos con patrones en 2 y 3 dimensiones para los distintos grupos de entrenamiento (AND, OR y XOR), con parámetro de aprendizaje λ =0.1. Se realizaron variaciones en la forma en que se inicializan los pesos sinápticos a saber: inicialización aleatoria y en tabula rasa con todas las componentes en cero. También se varió el tipo de entrenamiento: por lotes y variaciones iterativas o paso por paso.
Patrones bidimensionales A continuación se muestran los resultados obtenidos: Experimento 1: Se realizó el entrenamiento de un Perceptrón simple con las siguientes características: • Inicialización de los pesos sinápticos: Por tabula rasa con todas las componentes en cero. • Tipo de entrenamiento: Por lotes
Tabla 1: Resultados experimento 1:
Función
Resultado
No de iteraciones
Umbral
w1
w2
AND OR XOR
Aprende Aprende No aprende
4 6 1000
0.20 0.10 -
0.20 0.20 -
0.10 0.20 -x
Fig. 4.1. Resultados experimento 1: Izquierda representación gráfica de lo función AND con superficie de separación (pesos sinápticos w 1=0.2, w2=0.1 y umbral u=0.2). Derecha representación gráfica de la función OR con superficie de separación (w 1=0.2, w2=0.2 y u=0.1)
Experimento 2: Se realizó el entrenamiento de un Perceptrón simple con las siguientes características: • Inicialización de los pesos sinápticos: Aleatoria. • Tipo de entrenamiento: Iterativo (por pasos)
Tabla 2: Resultados experimento 2
Función
Resultado
No de iteraciones
Umbral
w1
w2
AND OR XOR
Aprende Aprende No aprende
6 2 1000
0.29 0.01 x
0.25 0.24 x
0.09 0.19 x
Fig. 4.2. Resultados experimento 2: Izquierda representación gráfica de lo función AND con superficie de separación (pesos sinápticos w 1=0.25, w2=0.09 y umbral u=0.29). Derecha representación gráfica de la función OR con superficie de separación (w 1=0.24, w2=0.19 y u=0.01). Se presentan las superficies de separación.
Patrones tridimensionales Experimento 3: Se realizó el entrenamiento de un Perceptrón Simple con las siguientes características: • Inicialización de los pesos sinápticos: Tabula rasa con todos los pesos sinápticos en 0 • Tipo de entrenamiento: Por lotes Tabla 3: Resultados experimento 3 No de Función Resultado iteraciones AND Aprende 13 OR Aprende 6 1000 XOR No aprende
Umbral
w1
w2
w3
0.40 0.10 x
0.20 0.40 x
0.20 0.40 x
0.20 0.40 x
Experimento 4: Se realizó el entrenamiento de un Perceptrón simple con las siguientes características: • Inicialización de los pesos sinápticos: Aleatoria. • Tipo de entrenamiento: Iterativo (por pasos) Tabla 4: Resultados experimento 4 No de Función Resultado iteraciones AND Aprende 17 OR Aprende 6 1000 XOR No aprende
Umbral
w1
w2
w3
0.60 0.05 x
034 0.09 x
0.22 0.11 x
0.09 0.24 x
Fig. 4.3.: Izquierda representación gráfica de la función AND con el plano separador (u=0.60;w1=0.34; w 2=0.22; w3=0.09) para patrones de tres componentes, derecha representación de la función OR. con plano separador (u=0.05;w 1=0.09; w2=0.11; w3=0.24)
En ninguno de los experimentos se consiguió que el Perceptrón aprendiera con los patrones XOR, debido a que este conjunto no es linealmente separable. Los conjuntos OR y AND pudieron ser entrenados y clasificados por el Perceptrón
Fig. 4.4. Comportamiento de los pesos sinápticos en función del número de iteraciones para la función AND con patrones de dos dimensiones. A la izquierda los pesos sinápticos se inicializan todos en cero, a la derecha se inicializan aleatoriamente.
Fig. 4.5. Comportamiento de los pesos sinápticos en función del número de iteraciones para la función AND con patrones de tres dimensiones. A la i zquierda los pesos sinápticos se inicializan todos en cero, a la derecha se inicializan aleatoriamente.
En las figuras 4.4 y 4.5 se observa la evolución de los pesos sinápticos en función del número de iteraciones para patrones 2D y 3D, se observa claramente que el número de iteraciones en el que se alcanza el aprendizaje es mayor para inicialización aleatoria de los pesos.
CONCLUSIONES •
Se implementó un Perceptrón Simple para ser entrenado por patrones definidos por las funciones AND, OR y XOR en 2 y 3 dimensiones.
•
El Perceptrón pudo ser entrenado con los patrones AND y OR ya que estos conjuntos son linealmente separables, mientras que no pudo ser entrenado para el caso de patrones definidos por la función lógica XOR ya que estos últimos no constituyen un conjunto son linealmente separable.
•
Para los patrones AND y XOR se encontró el hiperplano separador de las dos clases.
•
Se emplearon dos métodos para actualizar los pesos sinópticos: iterativamente y por lotes. Para el número de patrones empleados (4 en el caso 2D y 8 en 3D) en el entrenamiento no se observó una diferencia apreciable en el número de iteraciones requerido hasta que el Perceptrón fuera entrenado.
•
Cuando se inicializan los pesos sinápticos de manera aleatoria, el número de iteraciones requerido para que el Perceptrón logre aprender es mayor que en el caso donde se inicializan todas las componentes a cero.
BIBLIOGRAFÍA Hertz, J., Krogh, A., Palmer, R. 1992. Introduction to the Theory of Neural Computation , Addison-Wesley. 5th Ed. Müller, B.,Reinhardt, J., 1990 Neural Networks: An Introduction, Springer-Verlag Berlin. Apuntes de clase profesor Andrés Scarioni y profesor José Alí Moreno.
