Practica 5 GRUPO 4
INTEGRANTES: - César Herbozo - Pool Elera - Patricia Martinez - Shanny Huaypar - Javier Palomino 1. Indicar cuál de las siguientes no es una aplicación clásica de las técnicas t écnicas de clasificación a) Detección de clientes que abandonarán una compañía: Sí, hay 2 clases abandonar y no abandonar. Esto podría determinarse con data histórica del rendimiento o acciones de un empleado. b) Determinación de la concesión de un crédito: Sí, hay 2 clases conceder o no hacerlo. Esto podría determinarse con data histórica de riesgo crediticio de los clientes. c) Mejora en la ubicación de productos de supermercado: No, no hay un criterio de clasificación. d) Identificación de potenciales clientes: No, este es un problema de clustering. e) Determinar, para un nuevo objeto celeste, de qué tipo de cuerpo se trata: Sí, ya hay una clasificación determinada determinada de cuerpos celestes y bajo una toma de sus características podríamos identificar a qué clase pertenece. 2.- Realizar un cuadro comparativo de los siguientes algoritmos para árboles de decisión: ID3, CART, C4.5, CHAID y C5.0
ID3
● ● ● ● ●
● ●
CART
El espacio de hipótesis es completo, la función objetivo está incluida en él. No es capaz de determinar determinar todos los árboles compatibles con los ejemplos de entrenamiento. entrenamiento. No se puede proponer ejemplos que reduzcan el espacio de búsqueda. Encuentra Encuentr a un óptimo local que puede no ser el óptimo global (hillclimbing). En cada paso utiliza información informac ión estadística de todos los ejemplos en lugar de considerar los ejemplos uno a uno (permite ruido en los datos de entrenamiento). Por la ganancia de información, información, tiene tendencia tendencia a elegir atributos con muchos valores. ID3 prefiere prefiere árboles árboles cortos cortos frente a largos, largos, con los atributos atributos que producen una mayor ganancia de información cerca de la raíz.
Utilizar el criterio basado en Gini index para el caso de la clasificación. ● Cuando se pretende construir un árbol de regresión, los criterios ●
se basan en la mínima suma de las desviaciones cuadráticas. ● Para realizar la post-poda realiza una estimación del error, ya sea mediante un conjunto de datos diferente al que fue utilizado en la construcción, o aplicando validación cruzada. ● Conduce a un modelo mucho más simple para explicar el porqué las observaciones se clasifican en un determinado grupo. C4.5
●
Se basa en la utilización del criterio de proporción de ganancia, de esta manera se consigue evitar que las variables con mayor número de categorías salgan beneficiadas en la selección.. ● Incorpora una poda del árbol de clasificación una vez que éste ha sido inducido. ● Los árboles son menos frondosos, ya que cada hoja cubre una distribución de clases, no una clase en particular. ● Utiliza el método "divide y vencerás" para generar el árbol de decisión inicial a partir de un conjunto de datos de entrenamiento.
CHAID
●
C5.0
●
No realiza una fase de post-poda para evitar el sobreentrenamiento , sino que es en la misma fase construcción del árbol cuando se decide parar. ● Solo es capaz de tratar con variables predictoras discretas. ● Tiene divisiones de nodos multinivel. ● Las categorías de cada predictor se funden si no son significativamente distintas respecto a la variable dependiente.
● ● ● ● ●
La velocidad es significativamente más rápido que el C4.5 (varios órdenes de magnitud) El uso de memoria es más eficiente que en el C4.5 Árboles de decisión más pequeños que obtienen resultados similares a C4.5 con árboles de decisión mucho más pequeños. Soporte para boosting, el cual mejora los árboles y les da una mayor precisión. Su ponderación le permite ponderar los distintos casos y tipos de errores de clasificación. Aplica un algoritmo de clasificación (algoritmo Winnow) a los atributos para eliminar aquellos que sean de poca ayuda.
3. En función del siguiente conjunto de datos, se pide construir un modelo de minería de datos que utilice árboles de decisión, para determinar si una persona comprará un videojuego o no.
a. Cuál es la mejor precisión que ha obtenido? ¿con qué algoritmo? La mejor precisión que se ha obtenido es de que 5 si compran:
En ambos se obtuvo con los algoritmos “Bayes” y “Tree”
b. ¿Cuál es el atributo que tiene la mayor ganancia de información? ¿por qué? El atributo que tiene mayor ganancia de información es “estudia” segun la grafica siguiente
c. Desarrolle un conjunto de reglas de decision válido para el caso.
d. Desarrolle un programa en python para que genere un arbol
4. La empresa de seguros Protegidos S.A. quiere mejorar su proceso de evaluación de clientes, reduciendo el trámite administrativo y los tiempos de análisis. Para ello q uiere implementar una solución de minería de datos que le permita saber si a un nuevo cliente le puede o no ofrecer seguro, y sí le ofrece, si tiene que ser con condiciones. La empresa cuenta con información histórica en su base de datos operativa, de la cual se ha descargado el siguiente conjunto de datos:
a. ¿Que solucion de mineria de datos aplicario? Clasificación, ya que debemos clasificar si es que se le ofrece seguro o no, o con ciertas condiciones. b. Aplicando las técnicas de árboles de decision, bayesinas y basadas en casos, ¿cual da mejores resultados para el conjunto de datos? c. Desarrolle la solución en python utilizando 10-fold cross validation d. Muestre la matriz de confusiòn y la curva ROC para sustentar sus resultados. C. Desarrolle la solución en Python y R, utilizando 10-fold Cross Validation
5.- Indicar cuál es la precisión predictiva de un clasificador cuya matriz de confusión es la siguiente: Predicción Clases
A
B
A
285
12
B
6
197
La precisión predictiva de un clasificador es: = (285+197) / (285+12+6+197) = 482/500 = 0.964
10. Investigue sobre algoritmo Support Vector Machine (SVM) Dentro de la tarea de clasificación, las SVMs pertenecen a la categoría de los clasificadores lineales, puesto que inducen separadores lineales o hiperplanos, ya sea en el espacio original de los ejemplos de entrada, si éstos son separables o cuasi-separables (ruido), o en un espacio transformado (espacio de características), si los ejemplos no son separables linealmente en el espacio original. Como se verá más adelante, la búsqueda del hiperplano de separación en 1 estos espacios transformados, normalmente de muy alta dimensión, se hará de forma implícita utilizando las denominadas funciones kernel.
Desde un punto de vista algorítmico, el problema de optimización del margen geométrico representa un problema de optimización cuadrático con restricciones lineales que puede ser resuelto mediante técnicas estándar de programación cuadrática. La propiedad de convexidad exigida para su resolución garantizan una solución única, en contraste con la no unicidad de la solución producida por una red neuronal artificial entrenada con un mismo conjunto de ejemplos 1. SVM para clasificación binaria de ejemplos separables linealmente
Figura 1: Hiperplanos de separación en un espacio bidimensional de un conjunto de ejemplos separables en dos clases: (a) ejemplo de hiperplano de separación (b) otros ejemplos de hiperplanos de separación, de entre los infinitos posibles
Una propiedad inmediata de la definición de hiperplano de separación óptimo es que éste equidista del ejemplo más cercano de cada clase. La demostración de esta propiedad se puede hacer fácilmente por reducción al absurdo. Supongamos que la distancia del hiperplano óptimo al ejemplo más cercano de la clase +1 fuese menor que la correspondiente al ejemplo más cercano de la clase −1. Esto signicaría que se puede alejar
el hiperplano del ejemplo de la clase +1 una distancia tal que la distancia del hiperplano a dicho ejemplo sea mayor que antes y, a su vez, siga siendo menor que la distancia al ejemplo más cercano de la clase −1. Se llega así al absurdo de poder aumentar el tamaño
del margen cuando, de partida, habíamos supuesto que éste era máximo (hiperplano óptimo). Se aplica un razonamiento similar en el caso de suponer que la distancia del hiperplano óptimo al ejemplo más cercano de la clase −1 fuese menor que la
correspondiente al ejemplo más cercano de la clase +1.
Figura 2: Margen de un hiperplano de separación: (a) hiperplano de separación no-óptimo y su margen asociado (no máximo) (b) hiperplano de separación óptimo y su margen asociado (máximo).
2. SVM para clasificación binaria de ejemplos cuasi-separables linealmente
El problema planteado anteriormente tiene escaso interés práctico porque los problemas reales se caracterizan normalmente por poseer ejemplos ruidosos y no ser perfecta y linealmente separables. La estrategia para este tipo de problemas reales es relajar el grado de separabilidad del conjunto de ejemplos, permitiendo que haya errores de clasificación en algunos de los ejemplos del conjunto de entrenamiento. Sin embargo, sigue siendo un objetivo el encontrar un hiperplano óptimo para el resto de ejemplos que sí son separables Desde el punto de vista de la formulación vista en la sección anterior, un ejemplo es noseparable si no cumple la condición. Aquí se pueden dar dos casos. En el primero, el ejemplo cae dentro del margen asociado a la clase correcta, de acuerdo a la frontera de decisión que define el hiperplano de separación. En el otro caso, el ejemplo cae al otro lado de dicho hiperplano. En ambos casos se dice que el ejemplo es no-separable, pero en el primer caso es clasificado de forma correcta y, en el segundo, no lo es.
Figura 3: En el caso de ejemplos no-separables, las variables de holgura miden la desviación desde el borde del margen de la clase respectiva. Así, los ejemplos xi , xj y xk son, cada uno de ellos, no separables (ξi , ξj , ξk > 0.
Sin embargo, xi está correctamente clasificado, mientras que xj y xk están en el lado incorrecto de la frontera de decisión y, por tanto, mal clasificados.
El hiperplano así definido recibe el nombre de hiperplano de separación de margen blando (del inglés soft margen), en oposición al obtenido en el caso perfectamente separable, también conocido como hiperplano de separación de margen duro (del inglés hard margen). Como en el caso de la sección anterior, si el problema de optimización a ser resuelto corresponde a un espacio de características de muy alta dimensionalidad, entonces, para facilitar su resolución, 9 puede ser transformado a su forma dual. El procedimiento para obtener el hiperplano de separación es similar al allí utilizado. Por tanto, aquí sólo se reproducirá de forma esquemática y secuencial los pasos necesarios para realizar dicha transformación.
Figura 4: El problema de la búsqueda de una función de decisión no lineal en el espacio del conjunto de ejemplos original (espacio de entradas), se puede transformar en un nuevo problema consistente en la búsqueda de una función de decisión lineal (hiperplano) en un nuevo espacio transformado (espacio de características)
3. SVM para clasificación binaria de ejemplos no separables linealmente.
En las dos secciones anteriores se ha mostrado que los hiperplanos de separación son buenos clasificadores cuando los ejemplos son perfectamente separables o cuasiperfectamente separables. También se vio que el proceso de búsqueda de los parámetros que definen dichos hiperplanos se puede hacer independientemente de la dimensionalidad del problema a resolver. Así, si ésta es baja, basta con resolver directamente el problema de optimización primal asociado. En cambio, si la dimensionalidad es muy alta, basta con transformar el problema primal en su problema dual equivalente y resolver este último. Sin embargo, hasta ahora, se ha asumido la idea de que los ejemplos eran separables o cuasiseparables y, por tanto, los hiperplanos se definían como funciones lineales en el espacio-x de los ejemplos. En esta sección se describe cómo usar de forma eficiente conjuntos de funciones base, no lineales, para definir espacios transformados de alta dimensionalidad y cómo buscar hiperplanos de separación óptimos en dichos espacios transformados. A cada uno de estos espacios se le denomina espacio de características, para diferenciarlo del espacio de ejemplos de entrada (espacio-x). En este caso, cada entrada de dos dimensiones es transformada en un espacio de características de diez dimensiones. La idea es entonces buscar un hiperplano en el espacio de características que sea capaz de separar los ejemplos. La frontera de decisión lineal asociada a dicho hiperplano se transformará en un límite de decisión polinomial de grado tres en el espacio de entradas. Obsérvese también que si, en este ejemplo, un problema de tan solo dos dimensiones se transforma en uno de diez dimensiones, un pequeño aumento en la dimensionalidad del espacio de entrada puede provocar un gran aumento en la dimensionalidad del espacio de características. En el caso límite, existen incluso espacios de características de dimensión infinita. Es por esta razón por la que, ahora, el problema de optimización se expresa sólo en su forma dual, ya que, como se ha visto en las dos secciones anteriores, la solución de este problema no depende de la dimensionalidad del espacio sino de la cardinalidad del conjunto de vectores soporte. Si la transformación del espacio de entradas al espacio de características puede definirse a partir de un conjunto
infinito de funciones base, surge la pregunta de cómo transformar los ejemplos de entrada, de dimensión nita, en otro espacio de dimensión infinita. El siguiente teorema responde a esta pregunta.
Figura 5: Solución al problema XOR: (a) hiperplano de separación en el espacio de características, junto con su margen asociado (los cuatro ejemplos son vectores soporte) (b) función de decisión no lineal en el espacio de ejemplos original resultante de transformar el hiperplano obtenido en (a) en coordenadas del espacio original.
