Contenido_978-2-409-00838-2

Data Scientist y lenguaje R Guía de autoformación para el uso de Big Data

Introducción 1. Data scientist, una disciplina de moda

15

2. Las data sciences

16

3. El Big Data

17

4. La dinámica de este libro

18

4 . 1 Nue st ro s o bj et ivo s 4.2 La estructura del libro 4 . 2 . 1 L o s d o s r e co r r id o s co m p le m e nt a r io s 4 . 2 . 2 Re cu r s o s co m p l e m e n t a r i o s 5. Pequeño bestiario de las data sciences

5 . 1 L o s f u n d a me n t o s 5.1.1 Aprendizaje y clasificación 5.1.2 Pequeño vocabulario gráfico del machine learning 5 . 1 . 3 R eg re si ón 5 .1 . 4 Reg re sión li nea l g ene ra liza da 5.1.5 Árboles de decisión, poda, tala 5 . 1. 6 Clu st er in g , k-me an s 5 . 1 . 7 k-NN 5. 1 . 8 Mod elo s p ar amét ri cos 5.1.9 Lazy algorithm (algoritmo perezoso) 5.1.10 Overfitting: sobredeterminación, sobreaprendizaje 5.1.11 Validación cruzada, regularización, bagging 5.1.12 Optimización, descenso por gradiente 5.1.13 Algoritmo voraz (greedy algorithm) 5.1.14 Programación lineal, símplex, punto interior 5.1.15 Estimación mediante el método de Monte-Carlo 5.1.16 Entropía, independencia e información mutua 5.1.17 Discretización 5. 2 Métodos «conjunto»

www.ediciones-eni.com

© Ediciones ENI

18 20 20 22 24

24 24 25 39 41 42 43 44 44 45 45 46 48 50 50 52 54 56 57

1/12


5.2.1 Random forest 5.2.2 AdaBoost (adaptative boosting) 5.3 Leyes de probabilidad y de distribución 5.3.1 Generalidades 5.3.2 Pequeño bestiario de leyes de probabilidad 5.4 Los grafos 5.4.1 Vocabulario básico 5.4.2 Conversión de una tabla de observaciones en un grafo, semejanza 6. Informática profesional y datasciences

6.1 La tecnología 6.2 Business Intelligence versus Big Data 6.2.1 Diferencias en términos de arquitectura 6.2.2 Diferencias en términos de uso 6.2.3 En resumen 7. Notación

57 58 60 60 63 65 67 68 69

69 73 73 74 75 75

7.1 Notación de los parámetros 7.2 Otras notaciones 7.2.1 Funciones y aplicaciones ... f(x), d(x,y) ... 7.2.2 Algunas posibles confusiones 8. Ahora, ¡es su turno!

76 78 78 78 80

Primeros pasos con R 1. Instalación de los componentes

83

1.1 Instalación y ejecución de R 1.2 Instalación y ejecución de RStudio 1.3 Instalación de nuevos paquetes 1.4 Instalación de paquetes: complementos 2. Toma de contacto con R


83 84 86 88 90

© Ediciones ENI

2/12


2.1 R, una calculadora eficaz 2.2 R, un lenguaje vectorial 2.3 Funciones que trabajan sobre vectores 2.3.1 Un primer análisis rápido de los datos 2.3.2 Algunas estadísticas sencillas sobre los vectores 2.3.3 Ordenar un vector 2.3.4 Diversas funciones con suma, producto, min y max 2.4 Tipos de datos simples 2.4.1 Los booleanos 2.4.2 Conjuntos 2.4.3 Listas 2.4.4 Factores 2.4.5 Tablas 2.5 Las funciones 2.5.1 Creación y uso de una función simple 2.5.2 Creación de un operador a partir de una función de dos variables 2.5.3 Uso de las funciones y alcance de las variables 2.5.4 Aplicación de las funciones sobre las matrices: apply 2.5.5 Las funciones: completamente útiles 2.6 Estructuras de control 2.6.1 Instrucciones comunes con otros lenguajes 2.6.2 Recorrer una matriz mediante bucles for 2.7 Las cadenas de caracteres 2.8 El formato de los números 2.9 Fechas y tiempos 2.10 Mediar la duración de un algoritmo 2.11 Los números complejos 2.11.1 Manipulación básica de los números complejos 2.11.2 Visualización de números complejos 2.12 Programación orientada a objetos 2.12.1 Clases y objetos, breve descripción 2.12.2 Constructores 2.12.3 Herencia 2.12.4 Objetos mutables 2.12.5 Gestión de la pila: implementación Orientada a Objetos con RC


© Ediciones ENI

91 93 95 96 97 99 100 101 102 104 106 107 116 127 127 128 129 133 134 140 140 142 145 149 150 151 156 156 157 158 160 165 168 172 174

3/12


3. Manipulación de los datos

179

3.1 Lectura de los datos: fundamentos 3.2 Manipulación de las columnas de un data.frame 3.3 Cálculos simples sobre un data.frame 3.3.1 Cálculos sobre las columnas y las filas 3.3.2 Manipulación de las filas 3.3.3 Aplicación: comparación de elementos de clases y Khi-2 3.3.4 Creación de columnas calculadas 3.3.5 Ordenar un data.frame mediante order() 3.4 Análisis visual de los datos 3.4.1 Visualización simple de los datos 3.4.2 Visualización de variables numéricas 2 a 2 con mención de las clases 3.4.3 Correlación entre variables numéricas 3.4.4 Separación por clase, ggplot2, qplot 3.4.5 Visualización 3D, relación entre tres variables numéricas 3.4.6 Gráficos por pares 3.4.7 Diagramas de caja y eliminación de outliers 3.4.8 Creación de un modelo por árbol de decisión

179 182 183 183 184 188 190 195 197 197 199 203 205 206 207 208 212

Dominar los fundamentos 1. Ponerse en armonía con los datos

215

1.1 Algunas nociones fundacionales 1.1.1 Fenómeno aleatorio 1.1.2 Probabilidad, variable aleatoria y distribución 1.1.3 Un poco de matemáticas: notaciones y definiciones útiles 1.1.4 Momentos de una variable aleatoria discreta X 1.1.5 Primeras consideraciones sobre los errores y estimaciones 1.2 Familiarizarse con los datos 1.2.1 R Commander 1.2.2 Rattle 2. Matrices y vectores


216 216 217 221 228 237 238 240 243 248

© Ediciones ENI

4/12


2.1 Convenciones, notaciones, usos básicos 2.2 Matrices, vectores: una introducción a la noción de aprendizaje supervisado 2.3 Ir más lejos en la manipulación de matrices con R 2.3.1 Operaciones básicas 2.3.2 Algunos trucos útiles sobre las matrices de R 2.3.3 Normas de vectores y normas de matrices 2.3.4 Matrices y vectores: diversas sintaxis útiles 3. Estimaciones

248 261 263 263 264 269 273 278

3.1 Planteamiento del problema de estimación 3.1.1 Formulación general del problema 3.1.2 Aplicación y reformulación del problema de estimación 3.2 Indicadores de desviación utilizados en machine learning 3.2.1 MSE, RMSE, SSE, SST 3.2.2 MAE, ME 3.2.3 NRMSE/NRMSD, CV_MRSE 3.2.4 SDR 3.2.5 Accuracy, R2 4. Puesta en práctica: aprendizaje supervisado

4.1 Preparación 4.2 Comprobar las hipótesis, p_value 4.2.1 Análisis gráfico interactivo con iplots 4.2.2 Test de Breush-Pagan y zoom sobre p_value 4.3 Creación de un modelo (regresión lineal múltiple) 4.4 Establecer una predicción 4.5 Estudio de los resultados y representación gráfica 4.6 Indicadores habituales - cálculos 4.7 Estudio del modelo lineal generado 4.8 Conclusión sobre el modelo lineal 4.9 Uso de un modelo «Random Forest»

278 278 281 292 292 294 296 297 298 301

301 304 304 305 306 307 308 312 313 320 321

Técnicas y algoritmos imprescindibles


© Ediciones ENI

5/12


1. Construir la caja de herramientas

327

2. Representación gráfica de los datos

328

2.1 Un gráfico «simple» 2.2 Histogramas avanzados 2.2.1 Distribución multiclase 2.2.2 Mezcla de varias distribuciones por clase 2.2.3 Visualización de la densidad de una distribución 2.2.4 Otra mezcla por clase 2.2.5 Una variable, pero un histograma para cada clase 2.2.6 Gráfico con una densidad por clase 2.3 Diagrama de pares y de facetas 2.3.1 Diagrama por pares, versión simple 2.3.2 Clases en configuración XOR 2.3.3 Diagrama por pares con «factores» 2.3.4 Facetas y escala logarítmica 3. Machine learning: prácticas corrientes

3.1 Recorrido teórico acelerado 3.1.1 Linealidad 3.1.2 Errores in y out, noción de dimensión VC 3.1.3 Hiperplanos, separabilidad con márgenes 3.1.4 Kernel Trick, núcleos, transformaciones, feature space 3.1.5 Problemas de la regresión: introducción a la regularización 3.2 Práctica por práctica 3.2.1 Cross validation: k-fold CV 3.2.2 Naive Bayes 3.2.3 C4.5 y C5.0 3.2.4 Support Vector Machines (SVM) 3.2.5 Clusterización, k-means 4. ¿ Dónde nos encontramos en nuestro aprendizaje ?

4.1 Sus conocimientos operacionales 4.2 Las posibles lagunas que es preciso cubrir ahora


© Ediciones ENI

328 331 331 333 334 336 337 338 341 341 342 344 347 348

348 349 351 355 357 362 368 368 370 377 379 384 395

395 396

6/12


Marco metodológico del data scientist 1. El problema metodológico a nivel del proyecto

1.1 La expresión de una necesidad 1.2 La gestión del proyecto

397

398 399

2. El ciclo interno de data sciences

402

2.1 Revisión detallada del problema planteado 2.2 Trabajos previos sobre los datos 2.2.1 Exigencias sobre los datos 2.2.2 Recogida, limpieza y comprensión de los datos 2.3 El ciclo de modelado 2.3.1 Feature engineering 2.3.2 Modelado y evaluación 2.3.3 Escoger el mejor modelo 2.3.4 Test, interpretación y confrontación con negocio 2.4 Preparación de la industrialización y despliegue 2.5 Preparación de las siguientes iteraciones 2.5.1 Elementos que es preciso tener en cuenta 2.5.2 Documentación gestionada por los data scientists 3. Complementos metodológicos

402 403 403 404 405 406 407 408 409 410 411 411 412 413

3.1 Clasificar sus objetivos 3.2 Trucos y argucias

413 414

Procesamiento del lenguaje natural 1. Definición del problema

417

2. Análisis semántico latente y SVD

418

2.1 Aspectos teóricos 2.1.1 SVD: generalidades 2.1.2 Una justificación de la descomposición SVD


© Ediciones ENI

418 419 420

7/12


2.1.3 SVD en el contexto LSA 2.1.4 Interpretación 2.1.5 Alternativa no lineal, Isomap (MDS, geodésico, variedad, manifold) 2.2 Puesta en práctica 2.2.1 Inicialización 2.2.2 En el núcleo de LSA 2.2.3 Resultados 2.2.4 Manipulaciones, interpretaciones recreativas y no fundadas

421 421 423 423 423 426 427 430

Grafos y redes 1. Introducción

433

2. Primeros pasos

434

2.1 Algunas nociones y notaciones complementarias básicas 2.2 Manipulaciones simples de grafos con R 2.3 Estructura de los grafos 3. Grafos y redes (sociales)

434 436 450 452

3.1 Análisis de las redes sociales: conceptos básicos 3.2 Puesta en práctica 3.3 Detección de comunidades

453 456 459

Otros problemas, otras soluciones 1. Series temporales

467

1.1 Introducción 1.2 Modelo estacionario 1.2.1 Proceso estacionario: los fundamentos 1.2.2 Proceso autorregresivo AR: ir más lejos 1.2.3 Consideraciones (muy) útiles 1.3 Procesos no estacionarios


© Ediciones ENI

467 469 469 472 473 476

8/12


1.3.1 El modelo ARIMA 1.3.2 Procesos estacionales: SARIMA 1.3.3 Modelos ARCH y GARCH 1.3.4 Convolución y filtros lineales 1.4 Puesta en práctica 1.4.1 Los fundamentos de la manipulación de las series temporales en R 1.4.2 Estudio de las series temporales 1.4.3 Predicciones sobre ARIMA (AR MA SARIMA) 1.5 Minibestiario ARIMA

476 477 478 480 483 484 488 494 498

2. Sistemas difusos

501

3. Enjambre (swarm)

511

3.1 Swarm y optimización: el algoritmo PSO 3.1.1 Presentación de PSO 3.1.2 Descripción de PSO 3.2 Puesta en práctica de PSO

511 511 512 514

Feature Engineering 1. Feature Engineering, los fundamentos

519

1.1 Definición del problema 1.2 Sobre qué hay que estar muy atento 1.2.1 La calidad de la distribución 1.2.2 La naturaleza de las features 1.3 Dominar la dimensionalidad 1.4 Una solución práctica: el PCA 1.5 Un ejemplo simple del uso del PCA 1.6 Los valores desconocidos y las features mal condicionadas 1.7 Creación de nuevas features 1.8 A modo de conclusión 2. PCA clásico, elementos matemáticos


519 520 520 521 524 527 527 536 539 542 543

© Ediciones ENI

9/12


3. Reducción de los datos (data reduction)

546

4. Reducción de la dimensionalidad y entropía

547

4.1 Descripción teórica del problema 4.2 Implementación en R y discusión

548 550

Complementos útiles 1. GAM: generalización de LM/GLM

559

2. Manipulación de imágenes

562

2.1 Creación, visualización, lectura y escritura de imágenes 2.2 Transformaciones de imágenes 2.2.1 Ejemplos de manipulación del color y de las intensidades 2.2.2 Ejemplos de manipulación de la geometría de la imagen 2.2.3 Aplicación de filtros sobre las imágenes

563 569 569 572 575

3. Cómo crear una muestra: LHS (hipercubo latino)

577

4. Trabajar sobre datos espaciales

580

4.1 Variograma 4.1.1 Campo y variable regionalizada 4.1.2 Determinación del variograma 4.2 Krigeage (kriging) 4.2.1 La teoría, brevemente 4.2.2 Implementación en R 5. Buenas prácticas útiles

593

5.1 Trazar una curva ROC 5.2 Una red neuronal (primeros pasos hacia el deeplearning)


580 580 587 589 589 591

© Ediciones ENI

593 596

10/12


6. Gradient Boosting y Generalized Boosted Regression

601

6.1 Los grandes principios 6.2 Los parámetros y los usos (paquete GBM) 6.2.1 Covarianza 6.2.2 Loss 6.2.3 Optimización del algoritmo 6.3 Puesta en práctica

601 603 603 603 604 604

Anexos 1. Acerca de la utilidad de estos anexos

607

2. Fórmulas

607

3. Estrategias según la naturaleza de los datos

609

3.1 Recuentos 3.2 Proporciones 3.3 Variable de respuesta binaria 3.4 Datos que inducen un modelo mixto (mixed effect) 3.5 Datos espaciales 3.6 Grafos 3.7 Análisis de supervivencia (survival analysis)

609 610 610 610 612 612 613

4. Filtros (sobre imágenes)

613

5. Distancias

616

6. Trucos y pequeños consejos

620

6.1 Acerca de los tests 6.2 Gestión de las variables 6.3 Análisis y manipulación de resultados 6.3.1 Residuos


© Ediciones ENI

620 620 621 621

11/12


6.3.2 Manipulación de los modelos 7. Paquetes y temas para estudiar

621 622

7.1 Creación de gráficos JavaScript con R 7.2 Crear uniones como en SQL 7.3 Reglas de asociación 7.4 Exportar un modelo 7.5 Tensores 7.6 SVM para la detección de novedades (novelty detection) 8. Vocabulario y «tricks of the trade»

622 622 623 623 623 624 624

8.1 Complementos sobre las bases del machine learning 8.2 Complementos sobre los aspectos bayesianos 8.3 Vocabulario (en inglés) de los modelos gaussianos

624 626 628

9. Algoritmos para estudiar

628

10. Algunas formulaciones de álgebra lineal

629

Conclusión

631

índice

633


© Ediciones ENI

12/12

Contenido_978-2-409-00838-2

Recommend Documents