Construcción Implementación DW

Datawarehouse (Almacenes (Almacen es de Datos) Métodos de Diseño de Datawarehouse Prof. Pro f. Conce Concetti ttina na Di Vasta Vasta Clase 7

Contenido



 

Datamart  Definición  Tipos de Datamarts Método para la construcción de Datamarts Métodos de Diseño de un DW. Comparaciones Inmon Kimball

Datamarts  “Se

refiere a una vista del Data Warehouse orientada sólo a un aspecto de la organización. Contiene mucha menos cantidad de datos que el warehouse y es el objeto del procesamiento analítico por parte del usuario final” [Or [Oracle cle98]. Es un pequeño almacén de datos, diseñado para una unidad de negocio. 



Se centra en un tema concreto.

Muchos almacenes de datos comienzan siendo DataMart (para minimizar riesgos) y se va ampli mplian ando do su ámbit mbito o. 

07/01/2014

Almacenes Almace nes de Datos Datos - UCV

3

Tipos de Almacenes de datos



Corporativos (Data Warehouses)

 D e p ar t a m e n t a le s

07/01/2014

(Data Marts)

Almacenes de Datos - UCV

4

Tipos de Datamarts Datamart Independiente

07/01/2014


5

Tipos de Datamarts Datamart Dependiente

07/01/2014


6

Método para la construcción de Datamarts

Requerimientos y Diseño

Construcción

Documentación

Acceso y Manejo

07/01/2014


7



Descripción de la situación actual  Descripción de los Requerimientos  Diseño lógico  Transformación del Diseño lógico aDocumentación físico  Capturar el diseño del Sistema Fuente 

Construcción

Acceso y Manejo

07/01/2014


8



Construcción Generar las tablas  Fact y Dimensiones Documentación  Proceso ETC  Llenado de las tablas del Diagrama Estrella 

Acceso y Manejo 07/01/2014


9



Construcción

Documentación Creación de la Metacapa del Usuario Final  Creación y Generación de Reportes 

Acceso y Manejo

07/01/2014


10

Diferencias entre un Datamarts y Data Warehouse

Datawarehouse

Alcance

Corporativo

Una línea de Investigación

Aspectos que considera

Múltiples

Sólo un aspecto

Fuentes de Datos

Muchas

Pocas

> 100 GB

< 100 GB

Tamaño Promedio

07/01/2014

Datamart


11

Inmon vs Kimball 1990

Inmon publica “Building the Data Warehouse”.

1996

Kimball publica “The Data Warehouse Toolkit”.

2002 Inmon: •

• •

La arquitectura como una colección de fuentes diversas. El almacén de datos variable en el tiempo. Enfoque top down.

Kimball: •

• •

07/01/2014

Múltiples bases de datos llamadas data marts que son organizadas por procesos de negocio Usa el bus de datos estándar para la empresa. Enfoque bottom-up.


12

¿Qué es un Data Warehouse ?

Bill Inmon, define un almacén de datos como:

- Orientado a la informacíón relevante de la organización (Subject-oriented). - Variable en el tiempo. - No volátil. - Integrado. Ralph Kimball, define un almacén de datos

como:

"Una copia de la data transaccional específicamente estructurada para consultas y análisis." 07/01/2014


13

Kimball 

Kimball, en 1997, declaró que:



"... el almacén de datos no es más que la unión de todos los datamarts ",



Kimball presenta un método de almacenamiento de datos bottom up en el que los datamarts individuales ofrecen vistas finas de los datos de la organización que podría ser combinados en una almacén de datos.

07/01/2014


14

Inmon 

Inmon respondió en 1998 al decir:



"Se puede coger todos los peces pequeños en el océano y apilarlos juntos y todavía no hacen una ballena “



Refleja el punto de vista opuesto es decir: que el almacén de datos debe ser diseñado desde arriba hacia abajo (top down) para incluir todos los datos corporativos. En este método, los datamarts son creados sólo después que la data completa del almacén se ha creado.



07/01/2014


15

El Modelo de Inmon 

Consiste de todas las base de datos y sistemas de información en una organización…..  CIF (Corporate Information Factory)



Define un ambiente de base de datos completo como: •

•

•

•

 07/01/2014

Operacional Atómico Departamental Individual

El Warehouse es parte del todo mayor (CIF) Almacenes de Datos - UCV

16

Inmon: Datos operacionales

Se realizan tres tipos de carga: 

Datos históricos.



Datos contenidos en el ambiente operacional.



Cambios al DW ocurridos por las actualizaciones de los ODS, después de la primera carga.

Inmon: Modelo de Datos

El desarrollo del modelo de datos se basa en: Modelo de alto nivel. Compuesto por distintos

E-R integrados.

Modelo de nivel medio Compuesto por

conjuntos de items de datos (DIS: Data Item Set )

Modelo de bajo nivel Se extienden los DIS

incluyendo características físicas del almacenamiento. Se optimiza el rendimiento desnormalizando.

Datawarehouse Inmon

07/01/2014


19

Enfoque Kimball  Modelo

de Datos Dimensional

 Hechos

(Facts)  Dimensiones  La

tabla de hechos contiene métricas

 Las

tablas dimensiones contienen atributos

 No

se adhiere a la teoría de la normalización

 Accesible

07/01/2014

por el usuario Almacenes de Datos - UCV

20

El ciclo de vida de la data según Kimball

07/01/2014


21

El Bus de Datos de Kimball

07/01/2014



Los datos se mueven al área intermedia  La data se depura y es consistente



Los Data Marts están basados en un solo proceso



Con la suma de los datamarts se puede constituir un Enterprise Data Warehouse



Las dimensiones conformadas son la clave del éxito.


22

Kimbal versus Inmon Kimball

Se iniciará con data marts  Centrado en la entrega rápida de los usuarios 

Inmon

Se centrará en la empresa  Enfoque en la organización  Top down 

07/01/2014


23

Comparación

Enfoque Complejidad del método Orientación de la data Herramientas Acessibilidad del usuario final

07/01/2014

INMON

KIMBALL

Top-down Bastante Complejo Maneja data o áreas Tradicional (ER y DIS) Bajo

Bottom up Complejidad bastante simple Orientado a procesos Modelación Dimensional Alto


24

Comparación (Filosofía)

Audiencia primaria Objetivos

07/01/2014

INMON

KIMBALL

IT Ofrecer una buena solución técnica basada en métodos probados

Usuarios finales Ofrecer una solución que hace que sea fácil para los usuarios finales para consultar los datos y tener una tasa de respuesta razonable


25

Cómo escoger?

07/01/2014

Característica

Kimball

Inmon

Naturaleza de los requerimientos Requerimientos de integración de datos Estructura de datos

Táctica

Estratégica

Áreas de negocio individual

Organización

Métricas de No métricas negocio, medidas de rendimiento, y Cuadros de mando


26

Cómo escoger? Característica

Kimball

Persistencia de la data

Los sistemas fuentes son relativamente estables Requerimientos Equipos pequeños de personal y generalistas habilidades Tiempo de La necesidad de la entrega primera aplicación datawarehouse es urgente Costo de Menor costo de implementación arranque, con cada proyecto posterior el costo es el mismo 07/01/2014

Inmon

Alta tasa de cambio de sistemas fuentes Equipos grandes de especialistas Los requerimientos de la organización permiten la puesta en marcha con más tiempo Altos costos de inicio con menores costos de desarrollo de proyectos posteriores 27 Almacenes de Datos - UCV

Métodos de Diseño de un DW

El proceso de desarrollo de un DW es diferente al desarrollo de sistemas operacionales clásicos. Las metodologías más conocidas son las propuestas por Ralph Kimball y Bill Inmon.

Metodología Inmon

Los requerimientos no se conocen hasta que el DW esté parcialmente poblado. Los datos se revisan por el analista DSS, su resultado permite agregar o modificar el DW.

Metodología Kimball

Describe un flujo de tareas de alto nivel requeridas para el diseño, desarrollo e implementación de un DW.

Estruc tura de la Metodología Kimball

Checklist para el diseño de un DW (Kimball) 







Regla #1 Cargar los datos atómicos detallados en estructuras dimensionales. Regla #2 Las dimensiones se procesan alrededor de los procesos de negocios Regla #3 Asegurar que cada tabla de hechos tiene una dimensión tiempo asociada Regla #4 Asegurar que la tabla de hechos esté en el mismo grano o nivel de detalle








Regla #5 Resolver relaciones muchos a muchos en la tabla de hechos. Regla #6 Resolver relaciones muchos a uno en tablas dimensionales Regla #7 Almacenar etiquetas de reportes y valores de filtros en tablas dimensionales Regla #8 Asegurar que las tablas tengan claves subrogadas




Regla #9 Crear dimensiones conformadas para integrar datos a través de la empresa Regla #10 Analizar los requerimientos de manera continua para asegurar soluciones adaptadas a la toma de decisiones.

Construcción Implementación DW

Recommend Documents