El Pe Per cept ceptrr ó n Red Re d es Ne Neur uron onales ales
2
Temas •
Estructura del Perceptrón
•
El Perceptrón como clasificador de dos clases
•
El Perceptrón como operador lógico
•
Limitaciones del Perceptrón
•
Regla de aprendizaje
•
Ejemplos
Estructura El Perc Perce ept ptró rón n
4
Estructura del Perceptrón
⋮ ⋮
b
1 + =
El umbral b (bias) puede verse como un peso entre la unidad de entrada y una señal ficticia de valor x0 = 1
5
Estructura del Perceptrón •
La suma pesada de las entradas se aplica a la función de activación signo o escalón.
≥ 0 () −11 ℎ ≥ 0 () 10 ℎ
6
Modelo matemático del perceptrón •
Salida de la neurona
ℎ •
+ =
Forma vectorial
ℎ
b incluida
Clasificador de dos clases El Perceptrón
8
Clasificador de dos clases •
El propósito del perceptrón es clasificar las entradas, en una de dos clases, digamos y .
•
Los patrones de entrada pertenecen a una de dos clases.
,2,…,
2
Esto sólo puede suceder cuando ellos son linealmente separables
9
El perceptrón con dos entradas La frontera de decisión esta determinada por,
2 2
1 ( +22 +)
10
Una frontera de decisión en el perceptrón x2 Sea,
(,2,) −1 2 +0∗1 0 −2 0 2
= ( 1, -1, 0)
1*
*
x1
+22 + 0
11
Una frontera de decisión en el perceptrón x2
2 Esta es la ecuación para la frontera de decisión
x1
12
Una frontera de decisión en el perceptrón Región de decisión -1
x2
2
− 2<0 < 2 x1
13
Una frontera de decisión en el perceptrón x2
2 región de decisión +1
x1
− 2>0 > 2
14
Otro Ejemplo numérico •
La frontera de decisión con
11 2 −1 +22 + 0
15
El perceptrón con tres entradas •
La frontera de decisión esta determinada por,
+22 +33 + 0
Como un operador lógico El Perceptrón
17
El perceptrón como operador lógico •
El perceptron como una AND lógica x2
1 x1
0
1
+22 + 0
x
y
x&y
0 0 1 1
0 1 0 1
0 0 0 1
18
El perceptron como operador lógico •
El perceptron como un OR lógica x2
1 x1
0
1
+22 + 0
x 0 0 1 1
y 0 1 0 1
x|y 0 1 1 1
Limitaciones El perceptrón
20
Limitaciones •
Se garantiza la convergencia de la regla de aprendizaje del perceptron a una solucion en un numero finito de pasos, siempre que exista una solucion.
•
Las dos clases deben ser linealmente separables.
21
Limitaciones •
Problemas no linealmente separables
Trate de dibujar una linea recta entre vectores de dos clases
22
El problema de la OR exclusiva (XOR) •
Propósito: clasificar un vector binario de entrada en la clase 0 si el vector tiene un numero par de 1’s o 0’s, en caso contrario asignarlo a la clase 1.
0
0
0
0
1
1
1
0
1
1
1
0
23
Objecion de Minsky-Papert i
1
La simple operación de la OR exclusiva (XOR) no puede ser resuelta usando un perceptron lineal con polarización.
1
? i 2
Por lo tanto, probablemente problemas más importantes no pueden ser resueltos con el perceptron lineal.
24
El problema XOR resuelto •
Conclusión:
•
Por medio de estructuras multicapas es posible clasificar problemas que no son linealmente separables.
Regla de Aprendizaje El perceptrón
26
Aprendizaje en las RN artificiales •
Por regla de aprendizaje entendemos un procedimiento para modificar los pesos de una red.
•
Este procedimiento se denomina también algoritmo de entrenamiento
•
El propósito de la regla de aprendizaje es entrenar la red para que ejecute una tarea.
27
Aprendizaje supervisado • A la
regla de aprendizaje se le proporciona un conjunto de ejemplos (el conjunto de entrenamiento) de la conducta apropiada de la red.
, 2,2 ,⋯, , ,
: Entrada a la red : Salida correcta (target)
28
Regla de aprendizaje del perceptrón •
()
()
Si en la iteración , la salida de la red es y la salida deseada es , entonces el error esta dado por:
− •
La iteración k se refiere aquí al k-esimo ejemplo de entrenamiento presentado al perceptrón.
29
Regla de aprendizaje del perceptrón •
La regla de aprendizaje se usa para ajustar los pesos de la red para mover las salidas de la red hacia las salidas correctas (targets).
+1 +∆ Los pesos se ajustan de acuerdo al error
30
Regla de aprendizaje del perceptrón
+1 + () •
•
:
Velocidad de aprendizaje (eta)
() () − () () ()
Si el error, , es positivo, se necesita incrementar la salida del Perceptrón , pero si es negativo, se necesita excrementar .
31
Algoritmo de entrenamiento •
Paso 1: Inicialización Seleccionar los pesos iniciales números aleatorios.
•
Paso 2: Activación
2 ,
,…,
y el umbral
con
() 2() ()
Presentar las entradas al Perceptrón , Calcular la salida de la red en la iteración k = 1
=
,…,
+
.
32
Algoritmo de entrenamiento •
Paso 3: Actualización de los pesos
+1 + () •
Paso 4: Iteración
Incrementar en uno, volver al Paso 2 y repetir el proceso hasta la convergencia.
33
Ejemplo regla de aprendizaje P
T
2
2
0
1
-2
1
-2
2
0
-1
1
1
0 0 0
0 0
Ejemplos Perceptrón
35
Matlab •
Crear un perceptron net = perceptron
•
Entrenamiento de la red net = train(net, P, T);
•
Simulación y = net(P)
36
Matlab % Recta de clasificación • •
•
plotpv(P, T) plotpc(net.IW{1},net.b{1});
Demos: • nndtoc