Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios 1. INTRODUCCIÓN A LA INTELIGENCIA INTELIGENCIA DE NEGOCIOS 1.1 Conceptos Básicos 1.1.1 Datawarehouse En el contexto de la informática, un almacén de datos (del inglés datawarehouse) es una colección de datos orientada a un determinado ámbito (empresa, organización, etc.), integrado, no volátil y variable en el tiempo, que ayuda a la toma de decisiones en la entidad en la que se utiliza. Se trata, sobre todo, de un expediente completo de una organización, más allá de la información transaccional y operacional, almacenado en una base de datos diseñada para favorecer el análisis y la divulgación eficiente de datos (especialmente OLAP, procesamiento analítico en línea). El almacenamiento de los datos no debe usarse con datos de uso actual. Los almacenes de datos contienen a menudo grandes cantidades de información que se subdividen a veces en unidades lógicas más pequeñas dependiendo del subsistema de la entidad del que procedan o para el que sea necesario.
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios Definición de Bill Inmon
Bill Inmon1 fue uno de los primeros autores en escribir sobre el tema de los almacenes de datos, define un data warehouse (almacén de datos) en términos de las características del repositorio de datos:
Orientado a temas: Los datos en la base de datos están organizados de manera que todos los elementos elem entos de datos relativos al mismo evento u objeto del mundo real queden unidos entre sí.
Variante en el tiempo: Los cambios producidos en los datos a lo largo del tiempo quedan registrados para que los informes que se puedan generar reflejen esas variaciones.
No volátil: La información no se modifica ni se elimina, una vez almacenado un dato, éste se convierte en información de sólo lectura, y se mantiene para futuras consultas.
Integrado: La base de datos contiene los datos de todos los sistemas operacionales de la organización, y dichos datos deben ser consistentes.
Inmon defiende una metodología descendente (top-down) a la hora de diseñar un almacén de datos, ya que de esta forma se considerarán mejor todos los datos corporativos. En esta metodología los Data marts se crearán después de haber terminado el data warehouse completo de la organización.
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios Definición de Bill Inmon
Bill Inmon1 fue uno de los primeros autores en escribir sobre el tema de los almacenes de datos, define un data warehouse (almacén de datos) en términos de las características del repositorio de datos:
Orientado a temas: Los datos en la base de datos están organizados de manera que todos los elementos elem entos de datos relativos al mismo evento u objeto del mundo real queden unidos entre sí.
Variante en el tiempo: Los cambios producidos en los datos a lo largo del tiempo quedan registrados para que los informes que se puedan generar reflejen esas variaciones.
No volátil: La información no se modifica ni se elimina, una vez almacenado un dato, éste se convierte en información de sólo lectura, y se mantiene para futuras consultas.
Integrado: La base de datos contiene los datos de todos los sistemas operacionales de la organización, y dichos datos deben ser consistentes.
Inmon defiende una metodología descendente (top-down) a la hora de diseñar un almacén de datos, ya que de esta forma se considerarán mejor todos los datos corporativos. En esta metodología los Data marts se crearán después de haber terminado el data warehouse completo de la organización.
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios Definición de Ralph Kimball
Ralph Kimball es otro conocido autor en el tema de los datawarehouse, define un almacén de datos como: "una copia de las transacciones de datos específicamente estructurada para la consulta y el análisis. También fue Kimball quien determinó que un data warehouse no era más que: "la unión de todos los Data marts de una entidad". entidad" . Defiende por tanto una metodología ascendente (bottom-up) a la hora de diseñar un almacén de datos.
Una definición más amplia de almacén de datos
Las definiciones anteriores se centran en los datos en sí mismos. Sin embargo, los medios para obtener esos datos, para extraerlos, transformarlos y cargarlos, las técnicas para analizarlos y generar información, así como las diferentes formas para realizar la gestión de datos son componentes esenciales de un almacén de datos. Muchas referencias a un almacén de datos utilizan esta definición definici ón más amplia. Por lo tanto, en esta definición se incluyen herramientas para extraer, transformar y cargar datos, herramientas para el análisis (inteligencia empresarial) y herramientas para gestionar y recuperar los metadatos.
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios Función de un almacén de datos
En un almacén de datos lo que se quiere es contener datos que son necesarios o útiles para una organización, es decir, que se utiliza como un
repositorio
de
datos
para
posteriormente
transformarlos
en
información útil para el usuario. Un almacén de datos debe entregar la información correcta a la gente indicada en el momento óptimo y en el formato adecuado. El almacén de datos da respuesta a las necesidades de usuarios expertos, utilizando Sistemas de Soporte a Decisiones (DSS), Sistemas de información ejecutiva (EIS) o herramientas para hacer consultas o informes. Los usuarios finales pueden hacer fácilmente consultas sobre sus almacenes de datos sin tocar o afectar la operación del sistema.
En el funcionamiento de un almacén de datos son muy importantes las siguientes ideas:
Integración de los datos provenientes de bases de datos distribuidas por las diferentes unidades de la organización y que con frecuencia tendrán diferentes estructuras (fuentes heterogéneas). Se debe facilitar una descripción global y un análisis comprensivo de toda la organización en el almacén de datos.
Separación de los datos usados en operaciones diarias de los datos usados en el almacén de datos para los propósitos de divulgación, de ayuda en la toma de decisiones, para el análisis y para operaciones de control. Ambos tipos de datos no deben coincidir en la misma base de datos, ya que obedecen a objetivos muy distintos y podrían entorpecerse entre sí.
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios Periódicamente, se importan datos al almacén de datos de los distintos sistemas de planeamiento de recursos de la entidad (ERP) y de otros sistemas de software relacionados con el negocio para la transformación posterior. Es práctica común normalizar los datos antes de combinarlos en el almacén de datos mediante herramientas de extracción, transformación y carga (ETL). Estas herramientas leen los datos primarios (a menudo bases de datos OLTP de un negocio), realizan el proceso de transformación al almacén de datos (filtración, adaptación, cambios de formato, etc.) y escriben en el almacén.
1.1.2 Data mart Un Data mart es una versión especial de almacén de datos (data warehouse). Son subconjuntos de datos con el propósito de ayudar a que un área específica dentro del negocio pueda tomar mejores decisiones. Los datos existentes en este contexto pueden ser agrupados, explorados y propagados de múltiples formas para que diversos grupos de usuarios realicen la explotación de los mismos de la forma más conveniente según sus necesidades.
El Data mart es un sistema orientado a la consulta, en el que se producen procesos batch de carga de datos (altas) con una frecuencia baja y conocida. Es consultado mediante herramientas OLAP (On line Analytical Processing - Procesamiento Analítico en Línea) que ofrecen una visión multidimensional de la información. Sobre estas bases de datos se pueden construir EIS (Executive Information Systems, Sistemas de Información para Directivos) y DSS (Decision Support Systems, Sistemas de Ayuda a la toma de Decisiones).
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios En síntesis, se puede decir que los data marts son pequeños data warehouse centrados en un tema o un área de negocio específico dentro de una organización.
Dependencia de un data mart Según la tendencia marcada por Inmon sobre los data warehouse, un data mart dependiente es un subconjunto lógico (vista) o un subconjunto físico (extracto) de un almacén de datos más grande, que se ha aislado por alguna de las siguientes razones:
Se necesita para un esquema o modelo de datos espacial (por ejemplo, para reestructurar los datos para alguna herramienta OLAP).
Prestaciones: Para descargar el data mart a un ordenador independiente para mejorar la eficiencia o para obviar las necesidades de gestionar todo el volumen del data warehouse centralizado.
Seguridad: Para separar un subconjunto de datos de forma selectiva a los que queremos permitir o restringir el acceso.
Conveniencia: la de poder pasar por alto las autorizaciones y requerimientos necesarios para poder incorporar una nueva aplicación en el Data Warehouse principal de la Empresa.
Demostración sobre el terreno: para demostrar la viabilidad y el potencial de una aplicación antes de migrarla al Data Warehouse de la Empresa.
Política: Razones internas de la organización para hacer esta división o separación de los datos del almacén de datos, por ejemplo:
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios o
Cuando se decide una estrategia para las TI (Tecnologías de la información) en situaciones en las que un grupo de usuarios tiene más influencia, para determinar si se financia dicha estrategia o descubrir si ésta no sería buena para el almacén de datos centralizado.
o
Estrategia para los consumidores de los datos en situaciones en las que un equipo de almacén de datos no está en condiciones de crear un almacén de datos utilizable.
Según la escuela Inmon de data warehouse, entre las pérdidas inherentes al uso de data marts están la escalabilidad limitada, la duplicación de datos, la inconsistencia de los datos con respecto a otros almacenes de información y la incapacidad para aprovechar las fuentes de datos de la empresa. Así y todas estas herramientas son de gran importancia.
Conceptos erróneos de los Data Marts
Al hablar de los data marts, es inevitable la comparación con los data warehouse y al final se acaba diciendo (o entendiendo) que son como estos, pero en pequeño, y en cierto modo esto es así, pero esta idea suele hacer caer en los siguientes errores sobre la implementación y funcionamiento de los data marts:
Son más simples de implementar que un Data Warehouse: FALSO, la implementación es muy similar, ya que debe
proporcionar las mismas funcionalidades.
Son pequeños conjuntos de datos y, en consecuencia, tienen menor necesidad de recursos: FALSO, una aplicación corriendo sobre un data mart necesita los mismos recursos que si corriera sobre un data warehouse.
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios
Las consultas son más rápidas, dado el menor volumen de datos: FALSO, el menor volumen de datos se debe a que no se tienen
todos los datos de toda la empresa, pero sí se tienen todos los datos de un determinado sector de la empresa, por lo que una consulta sobre dicho sector tarda lo mismo si se hace sobre el data mart que si se hace sobre el data warehouse.
En algunos casos añade tiempo al proceso de actualización: FALSO, actualizar el data mart desde el data warehouse cuesta
menos (ya que los formatos de los datos son o suelen ser idénticos) que actualizar el data warehouse desde sus fuentes de datos primarias, donde es necesario realizar operaciones de transformación.
1.1.3 Tipos de sistemas de información Un sistema de
de información tienen como propósito perfeccionar las
actividades llevadas a cabo en una organización, y así alcanzar ventajas competitivas.
Siguiendo esta línea, y de acuerdo a su función se distinguen cuatro tipos de sistemas de información:
SISTEMA DE PROCESAMIENTO DE TRANSACCIONES: Cuando un sistema recopila, almacena y altera la información creada a partir de transacciones llevadas a cabo dentro de una organización se denomina sistema de procesamiento de transacciones. Tiene como finalidad procesar las transacciones diarias de una empresa, acumulando toda la información recibida en una base de datos para su posterior consulta.
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios SISTEMA DE INFORMACIÓN GERENCIAL: Un sistema de información gerencial es aquel utilizado por la empresa para solventar inconvenientes en la misma. Es decir, el objetivo del mismo es la suministración de información para la resolución de problemas a través de la interacción entre tecnologías y personas.
Los datos aportados por el sistema deben disponer de cuatro cualidades elementales: Calidad, oportunidad, Cantidad y Relevancia.
SISTEMA DE SOPORTE A DECISIONES: Este sistema se basa en el estudio y la comparación entre un conjunto de variables con el objeto de contribuir a la toma de decisiones dentro de una empresa. El apoyo dado por el sistema involucra la estimación, valoración y balance entre alternativas. Al igual que el sistema de información gerencial, esta tecnología interacciona con personas en el filtrado de información que permite optar por la decisión más acertada.
SISTEMA DE INFORMACION EJECUTIVA: Esta tecnología es utilizada por los gerentes de una empresa, ya que permite acceder a la información interna y externa de la misma, disponiendo de los datos que puedan llegar a afectar su buen rendimiento. De esta manera, el ejecutivo podrá conocer el estado de todos los indicadores, incluso aquellos que no cumplan con las expectativas y a partir de esto, tomar las medidas que considere adecuadas.
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios 1.1.4 Variables de medición Las variables de medición son aquellas que representan la medición matemática de un aspecto del negocio.
Se utilizan para medir la productividad, las pérdidas, las ganancias, entre otros aspectos que les pueden definir un sin número de indicadores que le permitirá a un ejecutivo tomar decisiones operativas o estratégicas.
Un ejemplo práctico es que si una empresa vende refrescos las variables de medición le ayudan a saber y a poder graficar cuantos refrescos se venden al día, cual es el más consumido, a qué tipo de personas les gusta el refresco, entre otras cosas se pueden aplicar las variables de medición.
1.1.5 Variables de Análisis Las variables de análisis son aquellas que se incluyen en el proceso estadístico, son aquellas variables que realizan estudios analíticos sobre las variables de medición.
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios Las variables de análisis se utilizan principalmente para realizar estudios estadísticos como factores de riesgo, permanencia del producto en el mercado, entre otras cosas.
Un ejemplo práctico es que se utilizan dentro de la empresa para poder determinar los diversos riesgos, la permanencia del producto o el servicio dentro del mercado, local, nacional e internacional y también se obtienen fortalezas y debilidades de la empresa.
1.2 Componentes de la inteligencia de negocios 1.2.1 Minería de datos La minería de datos o exploración de datos (es la etapa de análisis de "Knowledge Discovery in Databases" o KDD) es un campo de las cienci as de la computación referido al proceso que intenta descubrir patrones en grandes volúmenes de conjuntos de datos. Utiliza los métodos de la inteligencia artificial, aprendizaje automático, estadística y sistemas de bases de datos. El objetivo general del proceso de minería de datos consiste en extraer información de un conjunto de datos y transformarla en una estructura comprensible para su uso posterior . Además de la
etapa de análisis en bruto, que involucra aspectos de bases de datos y de gestión de datos, de procesamiento de datos, del modelo y de las consideraciones
de
inferencia,
de
métricas
de
Intereses,
de
consideraciones de la Teoría de la complejidad computacional, de postprocesamiento de las estructuras descubiertas, de la visualización y de la actualización en línea.
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios El término es una palabra de moda, y es frecuentemente mal utilizado para referirse a cualquier forma de datos a gran escala o procesamiento de la información (recolección, extracción, almacenamiento, análisis y estadísticas), pero también se ha generalizado a cualquier tipo de sistema de apoyo informático decisión, incluyendo la inteligencia artificial, aprendizaje automático y la inteligencia empresarial. En el uso de la palabra, el término clave es el descubrimiento, comúnmente se define como "la detección de algo nuevo". Incluso el popular libro "La minería de datos: sistema de prácticas herramientas de aprendizaje y técnicas con Java" (que cubre todo el material de aprendizaje automático) originalmente iba a ser llamado simplemente "la máquina de aprendizaje práctico", y el término "minería de datos" se añadió por razones de marketing. A menudo, los términos más generales "(gran escala) el análisis de datos", o "análisis" -. O cuando se refiere a los métodos actuales, la inteligencia artificial y aprendizaje automático, son más apropiados.
La tarea de minería de datos real es el análisis automático o semiautomático de grandes cantidades de datos para extraer patrones interesantes hasta ahora desconocidos, como los grupos de registros de datos (análisis clúster), registros poco usuales (la detección de anomalías) y dependencias (minería por reglas de asociación). Esto
generalmente implica el uso de técnicas de bases de datos como los índices espaciales. Estos patrones pueden entonces ser vistos como una especie de resumen de los datos de entrada, y pueden ser utilizados en el análisis adicional o, por ejemplo, en la máquina de aprendizaje y análisis predictivo. Por ejemplo, el paso de minería de datos podría identificar varios grupos en los datos, que luego pueden ser utilizados para obtener resultados más precisos de predicción por un sistema de
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios soporte de decisiones. Ni la recolección de datos, preparación de datos, ni la interpretación de los resultados y la información son parte de la etapa de minería de datos, pero que pertenecen a todo el proceso KDD como pasos adicionales.
Los términos relacionados con la obtención de datos, la pesca de datos y espionaje de los datos se refieren a la utilización de métodos de minería de datos a las partes de la muestra de un conjunto de datos de población más grandes establecidas que son (o pueden ser) demasiado pequeñas para las inferencias estadísticas fiables que se hizo acerca de la validez de cualquier patrón descubierto. Estos métodos pueden, sin embargo, ser utilizados en la creación de nuevas hipótesis que se prueban contra poblaciones de datos más grandes.
Proceso Un proceso típico de minería de datos consta de los siguientes pasos generales:
A. Selección del conjunto de datos, tanto en lo que se refiere a las variables objetivo (aquellas que se quiere predecir, calcular o inferir), como a las variables independientes (las que sirven para hacer el cálculo o proceso), como posiblemente al muestreo de los registros disponibles. B. Análisis de las propiedades de los datos, en especial los histogramas, diagramas de dispersión, presencia de valores atípicos y ausencia de datos (valores nulos).
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios C. Transformación del conjunto de datos de entrada, se realizará de diversas formas en función del análisis previo, con el objetivo de prepararlo para aplicar la técnica de minería de datos que mejor se adapte a los datos y al problema, a este paso también se le conoce como pre procesamiento de los datos. D. Seleccionar y aplicar la técnica de minería de datos, se construye el modelo predictivo, de clasificación o segmentación. E. Extracción de conocimiento, mediante una técnica de minería de datos, se obtiene un modelo de conocimiento, que representa patrones de comportamiento observados en los valores de las variables del problema o relaciones de asociación entre dichas variables. También pueden usarse varias técnicas a la vez para generar distintos modelos, aunque generalmente cada técnica obliga a un pre procesado diferente de los datos. F. Interpretación y evaluación de datos, una vez obtenido el modelo, se debe proceder a su validación comprobando que las conclusiones
que
arroja
son
válidas
y
suficientemente
satisfactorias. En el caso de haber obtenido varios modelos mediante el uso de distintas técnicas, se deben comparar los modelos en busca de aquel que se ajuste mejor al problema. Si ninguno de los modelos alcanza los resultados esperados, debe alterarse alguno de los pasos anteriores para generar nuevos modelos.
Si el modelo final no superara esta evaluación el proceso se podría repetir desde el principio o, si el experto lo considera oportuno, a partir de cualquiera de los pasos anteriores. Esta retroalimentación se podrá repetir cuantas veces se considere necesario hasta obtener un modelo válido.
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios Una vez validado el modelo, si resulta ser aceptable (proporciona salidas adecuadas y/o con márgenes de error admisibles) éste ya está listo para su explotación. Los modelos obtenidos por técnicas de minería de datos se aplican incorporándolos en los sistemas de análisis de información de las organizaciones, e incluso, en los sistemas transaccionales. En este sentido cabe destacar los esfuerzos del Data Mining Group, que está estandarizando el lenguaje PMML (Predictive Model Markup Language), de manera que los modelos de minería de datos sean interoperables en distintas plataformas, con independencia del sistema con el que han sido construidos. Los principales fabricantes de sistemas de bases de datos y programas de análisis de la información hacen uso de este estándar.
Tradicionalmente, las técnicas de minería de datos se aplicaban sobre información contenida en almacenes de datos. De hecho, muchas grandes empresas e instituciones han creado y alimentan bases de datos especialmente diseñadas para proyectos de minería de datos en las que centralizan información potencialmente útil de todas sus áreas de negocio. No obstante, actualmente está cobrando una importancia cada vez mayor la minería de datos desestructurados como información contenida en ficheros de texto, en Internet, entre otros.
Protocolo de un proyecto de minería de datos Un proyecto de minería de datos tiene varias fases necesarias que son, esencialmente:
Comprensión: del negocio y del problema que se quiere resolver.
Determinación, obtención y limpieza: de los datos necesarios.
Creación de modelos matemáticos.
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios
Validación, comunicación: de los resultados obtenidos.
Integración: si procede, de los resultados en un sistema transaccional o similar.
La relación entre todas estas fases sólo es lineal sobre el papel. En realidad, es mucho más compleja y esconde toda una jerarquía de sub fases. A través de la experiencia acumulada en proyectos de minería de datos se han ido desarrollando metodologías que permiten gestionar esta complejidad de una manera más o menos uniforme.
Técnicas de minería de datos Como ya se ha comentado, las técnicas de la minería de datos provienen de la inteligencia artificial y de la estadística, dichas técnicas, no son más que algoritmos, más o menos sofisticados que se aplican sobre un conjunto de datos para obtener unos resultados.
Las técnicas más representativas son:
Redes neuronales: Son un paradigma de aprendizaje y procesamiento automático inspirado en la forma en que funciona el sistema nervioso de los animales. Se trata de un sistema de interconexión de neuronas en una red que colabora para producir un estímulo de salida. Algunos ejemplos de red neuronal son:
El perceptrón.
El perceptrón multicapa.
Los mapas autoorganizados, también conocidos como redes de Kohonen.
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios Regresión lineal: Es la más utilizada para formar relaciones entre datos. Rápida y eficaz pero insuficiente en espacios multidimensionales donde puedan relacionarse más de 2 variables.
Árboles de decisión: Un árbol de decisión es un modelo de predicción utilizado en el ámbito de la inteligencia artificial, dada una base de datos se construyen estos diagramas de construcciones lógicas, muy similares a los sistemas de predicción basados en reglas, que sirven para representar y categorizar una serie de condiciones que suceden de forma sucesiva, para la resolución de un problema. Ejemplos:
Algoritmo ID3.
Algoritmo C4.5.
Modelos estadísticos: Es una expresión simbólica en forma de igualdad o ecuación que se emplea en todos los diseños experimentales y en la regresión para indicar los diferentes factores que modifican la variable de respuesta.
Agrupamiento o Clustering: Es un procedimiento de agrupación de una serie de vectores según criterios habitualmente de distancia; se tratará de disponer los vectores de entrada de forma que estén más cercanos aquellos que tengan características comunes. Ejemplos:
Algoritmo K-means.
Algoritmo K-medoids.
Reglas de asociación: Se utilizan para descubrir hechos que ocurren en común dentro de un determinado conjunto de datos.
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios Según el objetivo del análisis de los datos, los algoritmos utilizados se clasifican en supervisados y no supervisados (Weiss y Indurkhya, 1998):
Algoritmos supervisados (o predictivos): predicen un dato (o un conjunto de ellos) desconocido a priori, a partir de otros conocidos.
Algoritmos
no
supervisados
(o
del
descubrimiento
del
conocimiento): se descubren patrones y tendencias en los datos.
Ejemplos de uso de la minería de datos
Negocios La minería de datos puede contribuir significativamente en las aplicaciones de administración empresarial basada en la relación con el cliente. En lugar de contactar con el cliente de forma indiscriminada a través de un centro de llamadas o enviando cartas, sólo se contactará con aquellos que se perciba que tienen una mayor probabilidad de responder positivamente a una determinada oferta o promoción.
Por lo general, las empresas que emplean minería de datos ven rápidamente el retorno de la inversión, pero también reconocen que el número de modelos predictivos desarrollados puede crecer muy rápidamente.
En lugar de crear modelos para predecir qué clientes pueden cambiar, la empresa podría construir modelos separados para cada región y/o para cada tipo de cliente.
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios También puede querer determinar qué clientes van a ser rentables durante una ventana de tiempo (una quincena, un mes) y sólo enviar las ofertas a las personas que es probable que sean rentables. Para mantener esta cantidad de modelos, es necesario gestionar las versiones de cada modelo y pasar a una minería de datos lo más automatizada posible.
Análisis de la cesta de la compra El ejemplo clásico de aplicación de la minería de datos tiene que ver con la detección de hábitos de compra en supermercados. Un estudio muy citado detectó que los viernes había una cantidad inusualmente elevada de clientes que adquirían a la vez pañales y cerveza. Se detectó que se debía a que dicho día solían acudir al supermercado padres jóvenes cuya perspectiva para el fin de semana consistía en quedarse en casa cuidando de su hijo y viendo la televisión con una cerveza en la mano. El supermercado pudo incrementar sus ventas de cerveza colocándolas próximas a los pañales para fomentar las ventas compulsivas.
Patrones de fuga Un ejemplo más habitual es el de la detección de patrones de fuga. En muchas industrias —como la banca, las telecomunicaciones, etc. — existe un comprensible interés en detectar cuanto antes aquellos clientes que puedan estar pensando en rescindir sus contratos para, posiblemente, pasarse a la competencia. A estos clientes —y en función de su valor — se les podrían hacer ofertas personalizadas, ofrecer promociones especiales, etc., con el objetivo último de retenerlos. La minería de datos ayuda a determinar qué clientes son los más proclives a darse de baja estudiando sus patrones de comportamiento y
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios comparándolos con muestras de clientes que, efectivamente, se dieron de baja en el pasado.
Fraudes Un caso análogo es el de la detección de transacciones de lavado de dinero o de fraude en el uso de tarjetas de crédito o de servicios de telefonía móvil e, incluso, en la relación de los contribuyentes con el fisco. Generalmente, estas operaciones fraudulentas o ilegales suelen seguir patrones característicos que permiten, con cierto grado de probabilidad, distinguirlas de las legítimas y desarrollar así mecanismos para tomar medidas rápidas frente a ellas.
Recursos humanos La minería de datos también puede ser útil para los departamentos de recursos humanos en la identificación de las características de sus empleados de mayor éxito. La información obtenida puede ayudar a la contratación de personal, centrándose en los esfuerzos de sus empleados y los resultados obtenidos por éstos. Además, la ayuda ofrecida por las aplicaciones para Dirección estratégica en una empresa se traducen en la obtención de ventajas a nivel corporativo, tales como mejorar el margen de beneficios o compartir objetivos; y en la mejora de las decisiones operativas, tales como desarrollo de planes de producción o gestión de mano de obra.
Comportamiento en Internet También es un área en boga el del análisis del comportamiento de los visitantes —sobre todo, cuando son clientes potenciales — en una página de Internet. O la utilización de la información —obtenida por medios más
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios o menos legítimos— sobre ellos para ofrecerles propaganda adaptada específicamente a su perfil. O para, una vez que adquieren un determinado producto, saber inmediatamente qué otro ofrecerle teniendo en cuenta la información histórica disponible acerca de los clientes que han comprado el primero.
Terrorismo La minería de datos ha sido citada como el método por el cual la unidad Able Danger del Ejército de los EE. UU. había identificado al líder de los atentados del 11 de septiembre de 2001, Mohammed Atta, y a otros tres secuestradores del "11-S" como posibles miembros de una célula de Al Qaeda que operan en los EE. UU. más de un año antes del ataque. Se ha sugerido que tanto la Agencia Central de Inteligencia y su homóloga canadiense, Servicio de Inteligencia y Seguridad Canadiense, también han empleado este método.2
Juegos Desde comienzos de la década de 1960, con la disponibilidad de oráculos para determinados juegos combinacionales, también llamados finales de juego de tablero (por ejemplo, para las tres en raya o en finales de ajedrez) con cualquier configuración de inicio, se ha abierto una nueva área en la minería de datos que consiste en la extracción de estrategias utilizadas por personas para estos oráculos. Los planteamientos actuales sobre reconocimiento de patrones, no parecen poder aplicarse con éxito al funcionamiento de estos oráculos. En su lugar, la producción de patrones perspicaces se basa en una amplia experimentación con bases de datos sobre esos finales de juego, combinado con un estudio intensivo de los propios finales de juego en problemas bien diseñados y con
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios conocimiento de la técnica (datos previos sobre el final del juego). Ejemplos notables de investigadores que trabajan en este campo son Berlekamp en el juego de puntos-y-cajas (o Timbiriche) y John Nunn en finales de ajedrez.
Ciencia e Ingeniería En los últimos años la minería de datos se está utilizando ampliamente en diversas áreas relacionadas con la ciencia y la ingeniería. Algunos ejemplos de aplicación en estos campos son:
Genética En el estudio de la genética humana, el objetivo principal es entender la relación cartográfica entre las partes y la variación individual en las secuencias del ADN humano y la variabilidad en la susceptibilidad a las enfermedades. En términos más llanos, se trata de saber cómo los cambios en la secuencia de ADN de un individuo afectan al riesgo de desarrollar enfermedades comunes (como por ejemplo el cáncer). Esto es muy importante para ayudar a mejorar el diagnóstico, prevención y tratamiento de las enfermedades. La técnica de minería de datos que se utiliza para realizar esta tarea se conoce como "reducción de dimensionalidad multifactorial".3
Ingeniería eléctrica En el ámbito de la ingeniería eléctrica, las técnicas de minería de datos han sido ampliamente utilizadas para monitorizar las condiciones de las instalaciones de alta tensión. La finalidad de esta monitorización es obtener información valiosa sobre el estado del aislamiento de los
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios equipos. Para la vigilancia de las vibraciones o el análisis de los cambios de carga en transformadores se utilizan ciertas técnicas para agrupación de datos (clustering) tales como los mapas auto-organizativos (SOM: Self-organizing map). Estos mapas sirven para detectar condiciones anormales y para estimar la naturaleza de dichas anomalías.4
Análisis de gases También se han aplicado técnicas de minería de datos para el análisis de gases disueltos (DGA: Dissolved gas analysis) en transformadores eléctricos. El análisis de gases disueltos se conoce desde hace mucho tiempo como la herramienta para diagnosticar transformadores. Los mapas auto-organizativos (SOM) se utilizan para analizar datos y determinar tendencias que podrían pasarse por alto utilizando las técnicas clásicas (DGA).
Tendencias La Minería de Datos ha sufrido transformaciones en los últimos años de acuerdo con cambios tecnológicos, de estrategias de marketing, la extensión de los modelos de compra en línea, etc. Los más importantes de ellos son:
La importancia que han cobrado los datos no estructurados (texto, páginas de Internet, etc.).
La necesidad de integrar los algoritmos y resultados obtenidos en sistemas operacionales, portales de Internet, etc.
La exigencia de que los procesos funcionen prácticamente en línea (por ejemplo, en casos de fraude con una tarjeta de crédito).
Los tiempos de respuesta. El gran volumen de datos que hay que procesar en muchos casos para obtener un modelo válido es un inconveniente; esto implica grandes cantidades de tiempo de
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios proceso y hay problemas que requieren una respuesta en tiempo real.
Herramientas de software Existen muchas herramientas de software para el desarrollo de modelos de minería de datos tanto libres como comerciales como, por ejemplo:
dVelox de APARA
KXEN
KNIME
Neural Designer
OpenNN
Orange
Powerhouse
Quiterian
RapidMiner
SPSS Clementine
SAS Enterprise Miner
STATISTICA Data Miner
Weka
KEEL
Cuestionario:
1. ¿Qué es la minería de datos? 2. ¿Qué intenta descubrir la minería de datos? 3. ¿Cuáles son los métodos que utiliza la minería de datos? 4. ¿Cuál es el objetivo general del proceso de minería de datos? 5. ¿Cuál es la tarea real de la minería de datos? 6. Menciona los pasos de un proceso típico de minería de datos 7. ¿Cuáles son las fases necesarias de un proyecto de minería de datos? 8. Explica brevemente las técnicas de minerías de datos. 9. Menciona ejemplos de uso de la minería de datos. 10. Menciona por lo menos tres herramientas de software para el desarrollo de modelos de minería de datos.
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios 1.2.2 Administración del conocimiento La
administración
del
conocimiento
implica
la
conversión
del
conocimiento tácito (el que sabe un trabajador específico) en explícito (conocimiento documentado y replicable) para convertirlo en un activo estratégico de la organización.
Dicho en otras palabras implica la adecuada utilización de datos e información para transformarlos en conocimiento y entendimiento.
El conocimiento responde a preguntas que empiezan con ¿Cómo?, es decir, todo aquello que generalmente sólo algunos miembros de la organización saben y lo tienen en su cabeza pero no ha sido transformado en un conocimiento explícito.
Los procesos y Subprocesos clave de la Administración de Conocimiento definidos por el CSC (Centro de Sistemas de Conocimiento) son los siguientes:
Contexto Alineación y consolidación Estratégica de capitales
Acto de conocimiento Objeto Capital instrumental
Sujeto Capital Agente
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios 1. Alineación y consolidación estratégica de capitales: a) Definición de Sistemas Referenciales b) Estructuración y Operacionalización de Capitales c) Estrategia de Administración del Conocimiento y Desarrollo de Capitales Articuladores 2. Administración del Capital Agente a) Administración del Aprendizaje Organizacional b) Desarrollo de Prácticas de Valor c) Desarrollo de Competencias Claves 3. Administración del Capital Instrumental a) Métodos y Herramientas para instrumentar las estratégicas de Administración del Conocimiento b) Selección e Implementación de Plataformas Tecnológicas para la Administración del Conocimiento c) Desarrollo de la Base de Conocimiento
Con el fin de ampliar más este concepto, se presentan diferentes enfoques desde el punto de vista de una organización:
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios
1.2.3 Aplicaciones analíticas Segun Gartner el mercado mundial de Business Intelligence crecio un 13% en 2007 respecto al 2006, esto representa un valor de mercado que exedio los 5,1 billones de dolares en comparacion con los 4,5 billones registrados en el periodo 2006, los proveedores mas grandes del mercado: Bussines Objects, Cognos e Hyperion fueron adquiridos por las corporaciones SAP, IBM y Oracle respectivamente, esto hace preveer la presencia cada vez mayor de soluciones de Business Intelligence en nuestro dia a dia por lo que presentamos este articulo que intenta dar ejemplos de las aplicaciones analíticas más comunes disponibles hoy en el mercado del business intelligence.
Desgraciadamente muchas empresas se limitan a un sistema de análisis y
reporting
sobre
su
data
warehouse,
M. T. I. Francisco Castro Hurtado
desaprovechando
las
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios oportunidades que ofrecen otras aplicaciones que se basan en la misma arquitectura.
Simulación y Forecasting. Son aplicaciones para simular escenarios y predecir tendencias en el futuro. “Si el precio de la materia prima crece un 5% a lo largo del año y en tres meses el dólar sube 10%, ¿cómo afecta a nuestra venta al final del año?” “Si invertimos 10% más en esta línea de productos,¿cómo cambia nuestra productividad y ROI?”
Activity-Based Costing. La determinación de los costes basados en actividades descubre los costes reales de los productos, servicios o clientes más allá de la contabilidad tradicional y desvela que por ejemplo dos clientes aparentemente igual de rentables según sus compras, en realidad causan costes muy diferentes, o que 25% de la actividad de la empresa causa80% de los costes.
Minería de Datos. Sistemas basados en algoritmos matemáticos para descubrir tendencias escondidas entre grandes volúmenes de datos. Aplicada desde la detección de fraude hasta el análisis de cesta de compra.
Balanced Scorecard/Cuadro de Mando Integral. Un concepto de gestión de la estratégica empresarial desarrollado por Norton y
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios Kaplan. Permite ver la empresa no sólo bajo la perspectiva financiera, sino también bajo otras como clientes, procesos o potenciales. Los objetivos estratégicos de las empresas se definen y su alcance se mide constantemente con datos reales.
Gestión de riesgo. Especialmente las entidades financieras y las aseguradoras, pero también otras empresas, necesitan calcular riesgos y simular escenarios. Las aplicaciones BI proporcionan todo el proceso.
Alertas y vigilancia. Ya no es necesario leer cada mañana muchas páginas de informes o mirar cada hora una pantalla para detectar si existe una situación crítica en algún lugar de la empresa. Se pueden vigilar automáticamente los indicadores de la actividad empresarial y generar avisos por email o SMS si un indicador está fuera de su rango normal, a cualquier ritmo y hora del día.
Fidelización de Clientes. Las aplicaciones ayudan a identificar que son los mejores o más rentables clientes y porque clientes abandonan la empresa. Proporcionan los datos para campañas y evalúan las respuestas y el impacto.
Consolidación. Automatización de consolidaciones contables entre empresas de un mismo grupo o entre sucursales. También se aplican en fusiones de empresas y adquisiciones.
Como hemos visto, existen numerosas aplicaciones verticales o analíticas que se pueden instalar sobre un data warehouse existente. Si se aprovecha esta base de infraestructura, la inversión es pequeña en relación con el potencial empresarial de las aplicaciones.
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios 1.2.4 Sistemas de reportes Los sistemas de reportes tienen como objetivo principal mostrar una visión general de la situación de la empresa. Consecuentemente, estos muestran la situación de las operaciones regulares de la empresa para que los directivos puedan controlar, organizar, planear y dirigir. Los reportes se pueden visualizar, exportar a otros formatos como PDF, HTML, XML, etc. y también se pueden imprimir en papel. El Jasper Report es una librería para la generación de informes. Está escrita en java y es libre. http://jasperforge.org/ El funcionamiento consiste en escribir un xml donde se recogen las particularidades del informe. Este xml lo tratan las clases del Jasper para obtener una salida. Esta salida puede ser un PDF, XML, HTML, CSV, XLS, RTF, TXT. Otra ventaja de utilizar Jasper Report es que se integra perfectamente con el JFreeChart que es una librería libre para la generación de todo tipo de graficas.
Para generar el xml lo recomendable es bajarse la herramienta iReport que es un editor gráfico que está implementado en java y se integra perfectamente con el Jasper Report.
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios
El sistema de reportes jasper reports ofrece muchas herramientas que son de gran utilidad proporciona todo lo necesario para diseñar informes de una complejidad media, y la curva de aprendizaje para comenzar a tener resultados productivos no es muy elevada. Además los informes se pueden realizar directamente sobre los xml descriptores o podemos utilizar la herramienta ireport para diseñarlo gráficamente.
Un ejemplo básico:
Para generar un reporte con jasper report debemos seguir los siguientes pasos:
Generar un fichero .jrxml en el que se configura cómo queremos el informe.
Compilar el fichero .jrxml para obtener un fichero .jasper.
Rellenar los datos del informe. Esto generará un fichero .jrprint.
Exportar el fichero .jrprint al formato que deseemos (pdf, etc). Esto generará el fichero en cuestión.
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios Generar el fichero .jrxml El fichero .jrxml se puede generar a mano con este DTD y esta referencia de atributos. De todas formas, una opción mejor es usar la herramienta iReport, que permite generar el fichero .jrxml de forma visual y más fácil.
En este fichero también se configura cual va a ser la fuente de datos (si es una base de datos, un fichero, etc). Incluso si es base de datos, en este fichero se pone el SELECT que devuelve los datos que queremos para el informe.
Compilado del fichero .jrxml Para compilar el fichero .jrxml y generar el fichero .jasper, desde código podemos poner algo como esto:
JasperReport
report=
JasperCompileManager.compileReport("C:\\informesJAsper\\JRXML\\Inf ormeMySql.jrxml");
Rellenar el informe con datos Ahora hay que rellenar el informe con datos. Desde código se hace con algo como esto
JasperPrint
print
=
JasperFillManager.fillReport(report,
conn);
M. T. I. Francisco Castro Hurtado
parameters,
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios Donde conn es la conexión con la base de datos. No es necesario indicar el select ni nada similar, puesto que esta información está incluida en el .jrxml.
Obtener el pdf (o el que sea) Finalmente, para obtener el fichero .pdf, la línea es algo como esto
JasperExportManager.exportReportToPdfFile(print,
"C:\\informes
JAsper\\PDF's\\InformePaisesMySQL.pdf"); Donde el parámetro es el fichero de salida que deseamos.
1.2.5 Multidimensionalidad La multidimensionalidad dentro de la inteligencia de negocios ayuda a representar los datos en forma cercana a la intuición del usuario y al mismo tiempo resolver problemas planteados en sistemas relacionales.
La información multidimensional se puede encontrar en hojas de cálculo, bases de datos, etc. Es una herramienta de B.I. que es capaz de reunir información dispersa en toda la empresa e incluso en diferentes fuentes para así proporcionar a los departamentos la accesibilidad, poder y flexibilidad que necesitan para analizar la información. Por ejemplo, un pronóstico de ventas de un nuevo producto en varias regiones no está completo si no se toma en cuenta también el comportamiento histórico de las ventas de cada región y la forma en que la introducción de nuevos productos se ha desarrollado en cada región en cuestión.
Se representan los datos como una matriz.
En los ejes están los criterios de análisis.
M. T. I. Francisco Castro Hurtado
Instituto Tecnológico Superior de la Montaña Inteligencia de Negocios
En los cruces están los valores a analizar.
A esta estructura se le llama Cubo o Hipercubo.
Los Cubos o Hipercubos constan de: Dimensiones:
o
Criterios de análisis de los datos.
o
Macro-objetos del problema.
o
Variables independientes.
o
Ejes en el hipercubo.
Medidas:
o
Valores o indicadores a analizar.
o
Datos asociados a relaciones entre los objetos
Problema.
o
o
Variables dependientes.
o
Variables en la intersección de las dimensiones.
Las bases de datos multidimensionales se utilizan principalmente para crear aplicaciones OLAP y pueden verse como bases de datos de una sola tabla, su peculiaridad es que por cada dimensión tienen un campo (o columna), y otro campo por cada métrica o hecho.
M. T. I. Francisco Castro Hurtado