ODI presentación

Data Integrator 12c Moving Data to Transform Business

Joan Massegú Consultor y Técnico Preventa del Área de Business Analytics

Webinar

Índice 1 Introducción 2 Arquitectura de ODI 12c 3 Desarrollo con ODI 12c 4 Big Data con ODI 12c 5 Integración con otras herramientas 6 Migración de OWB 11g (Warehouse Builder) a ODI 12c 7 Actualización de ODI 11g 11g a 12c 8 Conclusiones

Índice 1 Introducción 2 Arquitectura de ODI 12c 3 Desarrollo con ODI 12c 4 Big Data con ODI 12c 5 Integración con otras herramientas 6 Migración de OWB 11g (Warehouse Builder) a ODI 12c 7 Actualización de ODI 11g 11g a 12c 8 Conclusiones

Introducción Oracle Data Integrator (ODI) en el portfolio de Oracle • Pertenece a la línea de productos de Business Analytics datos estratégica de Oracle • Es la herramienta de integración de datos estratégica !"# %&' Data Integration

Data Analytic Tools

Packaged Analytics & EPM Apps

Engineered Systems

Introducción Necesidades actuales en la integración de datos

Cualquier Fuente de datos

Integrada, Alta productividad

Interna o en la Nube

Máximo rendimiento, Alta disponiblidad

Real Time, Quality Data

Introducción Principales características de ODI 12c • Procesos ELT para Data Warehouse / Integraciones ODS / Migraciones • BD Heterogéneas (cualquier origen/destino de datos), XML, " • Real time Data Warehouse • Con sus propios (KM’s) de soporte para CDC • Mediante la integración con OGG (GoldenGate)

• Diseñado para arquitecturas SOA: exponer y consumir datos y procesos • MDM: linaje de los datos / análisis impacto de los cambios • Alta disponibilidad sobre WLS • Consolas monitorización infraestructura y ejecuciones • Conectores para BigData

Introducción Desarrollo de alta productividad con ODI 12c • • • •

Diseño declarativo (KM) Desarrollo orientado a flujos Reutilización de código Rendimiento optimizado para Oracle Particionado/Paralelismo/Hints/Merge/Inserts múltiples destinos/ "

• Simulación ejecución • Depuración paso a paso • Funcionalidad extensible y/o customizable

Índice 1 Introducción 2 Arquitectura de ODI 12c 3 Desarrollo con ODI 12c 4 Big Data con ODI 12c 5 Integración con otras herramientas 6 Migración de OWB 11g (Warehouse Builder) a ODI 12c 7 Actualización de ODI 11g a 12c 8 Conclusiones

Arquitectura de ODI 12c Componentes • Repositorios • ODI Studio • Agentes • Componentes J2EE • Management Pack

Arquitectura de ODI 12c Repositorios de ODI • Almacenados en esquema BD • Repositorio Master • Topología de la infraestructura IT • Información de seguridad • Objetos versionados y archivados ()*+,-

• Repositorios de trabajo (n) • Estructuras de datos (Modelos) • Proyectos • Información de ejecución

12,'

./-0

Arquitectura de ODI 12c Agentes ODI • Tipos Agente

• Standalone • Collocated • J2EE

@A6,7+, B,C

!"# 9+=>6/ ?

ODI Console

Cliente (Cualquier Plataforma) ;,
• Responsabilidades ODI Console

• Listener • Scheduler

J2EE Agent

!"# 3&11 4"/5676/ .89:

Cualquier origen

• Procesos java ejecutándose

Collocated Agent

Standalone Agent

!"/5676/ .89:

Cualquier destino

Arquitectura de ODI 12c ODI Console • Interface web • Monitorizar resultados de ejecución • Lanzar procesos • Linaje y flujo de datos

Arquitectura de ODI 12c ODI Management Pack • Gestión y Rendimiento • Gestión Configuración • Gestión SLM • Análisis histórico y reporting

Índice 1 Introducción 2 Arquitectura de ODI 12c 3 Desarrollo con ODI 12c 4 Big Data con ODI 12c 5 Integración con otras herramientas 6 Migración de OWB 11g (Warehouse Builder) a ODI 12c 7 Actualización de ODI 11g a 12c 8 Preguntas y Respuestas

Desarrollo con ODI Flujo de un proceso ELT

Definir topología

Elegir estrategia de carga

Coordinar tareas auxiliares (preprocesar ficheros/ftp/

Ejecución y Schedule

!

Modelo de datos

Desarrollar mapping

(ing. inversa)

(transformación)

Orquestar flujo ELT

Validación

Monitorizar Resultados

Desarrollo con ODI ODI Studio • Topología • Designer • Data Model • Proyectos • • • • •

Mappings Packages Execution Plans Procedures KM’s

• Operador • Monitorizar estado ejecuciones

Desarrollo con ODI Topología Define

• Fuentes de datos • Origen • Destino • Staging

• Modelos datos • Lógico • Físico

• Contextos de ejecución • Agentes en nuestra infraestructura • Repositorios ODI existentes

S E D t_ n e g A I D

DEV PRO

Desarrollo con ODI Designer Modelo • Describe conjuntos de Datastores (Atributos, claves, filtros y condiciones)

• Ingeniería inversa • Define reglas integridad (Estáticas/Flujo)

• Configuración para CDC

Desarrollo con ODI Designer Contenido de un Proyecto • Variables, Secuencias • Procedimientos • Funciones • Mappings (Interfaces) • KM’s • Packages • Load Plans

(DAE
Desarrollo con ODI Estructura de un mapping Perspectivas • Lógica • Física

8GL6') >, 7,L/'6/ • 6<=&0.# +& +(0.# > #%# ?&9(42.-&# • @2903.# ?纺.-&#

Desarrollo con ODI Knowledge Modules (KM) Plantillas de código especializadas en la ejecución de un tipo de tarea • • • • • •

LKM IKM CKM JKM RKM SKM

Desarrollo con ODI Ejecución de procesos ELT • Objetos ejecutables • • • •

Mappings Paquetes Load Plans Procedures

• Escenarios (Casos) • Ejecución • Interactiva • Programada

• Simulación Ver resultado ejecución

Desarrollo con ODI Orquestar el flujo de datos Packages • Define secuencia ejecución • ODI Tools • Mappings • Procedimientos

Load Plans • Definen el flujo de carga • En serie • En paralelo

• Ejecuta escenarios • Diferentes tipos de reinicio

Desarrollo con ODI Debugger integrado • Objetos debugables • • • •

Mappings Escenarios Procesos Paquetes

• Sobre cualquier agente (sesiones en ejecución)

• Ejecución paso a paso • Edición sentencias SQL • Ejecutar código modificado

Desarrollo con ODI Realtime Data Warehouse con Change Data Capture (CDC) • Dos modos de journalizing • Simple • Consistente

• Modelo publicación/suscripción • Journal/Vistas • Procesos de captura • Suscriptores

• Dos implementaciones • Análisis Log transacciones • Triggers

• ODI automatiza procesos

Desarrollo con ODI Extendiendo/Personalizando ODI • KM’s y Substitution API • SDK • Groovy scripts • Puede utilizar comandos del SDK • Automatizar la edición/ejecución objetos • Automatizar cambios masivos


Big Data con ODI 12c Application Adapter for Hadoop (ODIAAH) • Integración de datos en Hadoop (Sistema ficheros local / HDFS / Hbase / BD SQL estándar)

• Realizar validaciones y transformaciones de datos en Hadoop • Llevar los resultados obtenidos en Hadoop a otro almacén de datos (Oracle / BD SQL estándar / Hbase)

• Disponible a partir de ODI 11.1.1.6 • Se licencia por separado

Big Data con ODI 12c KM’s incluidos en el Application Adapter for Hadoop (ODIAAH) M/5C-, 4K(:

H-/
!-6L,7

",*E7/

ABC @29& 0. D2E&

F(31(3 +(0.# +& 9.4(9 . DG@H &- 0(<9(# D2E&

@29& #>#0&'

D2E&

IBC D2E& F.-03.9 J77&-+

I-0&13( +(0.# &- D2E& &- '.+. 03%-4(0&K2-#&30

D2E&

D2E&

IBC D2E& L3(-#M.3'

I-0&13( +(0.# &- D2E& %-( E&N 03(-#M.3'(+.# 4.- %- #43270 +&#(33.99(+. &- O&39KO>0P.-

D2E&

D2E&

IBC @29&QD2E& 0. 63(49& !6ADQ 6HFD5

I-0&13( +(0.# +&#+& DG@H . D2E& &- 0(<9(# 63(49&

@29& #>#0&'KD2E&

63(49&

IBC @29&QD2E& 0. HRA

I-0&13( +(0.# +&#+& DG@H . D2E& &- 8G HRA

@29& #>#0&'KD2E&

8G HRA

IBC HRA 0. D2E&QD8(#&Q@29&

I-0&13( +(0.# +&#+& 8G HRA &- DG@HKD<(#&KD2E&

8G HRA

D2E&KD8(#&K DG@H

IBC D2E& 0. D<(#& I-43&'&-0(9 S7+(0&

I-0&13( +(0.# +&#+& D2E& ( D<(#&/ 7%+2&-+. 3&(92N(3 2-#&30K %7+(0&;

D2E&

D8(#&

ABC D8(#& 0. D2E&

F(31(3 +(0.# +& D<(#& ( D2E&

D8(#&

D2E&


Integración con otras herramientas Arquitectura SOA • Cualquier agente puede exponer transformaciones de ODI como WS • Los agentes J2EE pueden exponer Data Services • Invocar Web Services y procesar su respuesta

Integración con otras herramientas Enterprise Data Quality (EDQ)

• Funcionalidad EDQ • • • •

Profiling Validar direcciones Estandarización/Análisis Sintáctico Combinar y enriquecer registros

• Integración EDQ con ODI • A través de ODI Tools Monitorización estado jobs EDQ en Operador

Integración con otras herramientas Oracle GoldenGate (OGG) para Real Time Data Warehouse • OGG transformaciones básicas “in-row” / ODI transformaciones complejas (lookups, ") • Rendimiento OGG optimizado al procesar microbatches con ODI • Mismo mapping soporta bulk-loads y microbatches Oracle BI • GG es menos invasivo que CDC Historic Analytics Real-time Analytics Batch Feed

Log-based, Real-time Data Feeds EMP

DEPT trans3

trans2

trans1

Oracle Data Integrator & Data Quality 32

DIM

DIM FACT

Integración con otras herramientas OracleGolden Gate (OGG) • • • •

Podemos utilizar Journalizing de OGG sin reestructurar los mappings Gestionar instancias Captura/Distribución OGG desde la topología ODI Mantener parámetros configuración GG desde ODI Interface gráfica despliegue procesos GG vía ODI

Integración con otras herramientas Master Data Management (MDM) con OBIEE

• Linaje de los datos • Análisis de impacto


Migración de OWB 11g a ODI 12c ¿Por qué, cuándo y cómo? • Porque" • OWB 11.2 es versión terminal • “Premier Support” de OWB 11.2 finalizó en enero de 2015 • La BD 12.x no incluye OWB en la instalación • OWB 11.2 NO estará certificado en BD > 12.1

• Ahora • Oracle provee utilidad de migración de OWB 11.2.0. x a ODI 12.1.y* • Rediseño filosofía desarrollo de ODI orientándola a flujo V! ! WX Y/ " WXZ5

Migración de OWB 11g a ODI 12c ¿Por qué, cuándo y cómo? • Gradualmente • Integrando desarrollos OWB en los flujos ODI • Migrando automáticamente los proyectos OWB a ODI (utilidad migración) • Empezando a desarrollar en ODI los nuevos proyectos (y lo no migrable)

Migración de OWB 11g a ODI 12c Integrar desarrollos OWB actuales en ODI 12c • ODI 12c incorpora tecnología “Oracle Warehouse Builder” • ODI 12c puede coordinar ejecución mappings y workflows OWB • Invocación vía ODI Tools • Resultados ejecución mappings/workflows

Índice 1 Introducción 2 Arquitectura de ODI 12c 3 Desarrollo con ODI 12c 4 Big Data con ODI 12c 5 Integración con otras herramientas 6 Migración de OWB 11g (Warehouse Builder) a ODI 12c 7 Actualización de ODI 11g a 12c 8 Preguntas y Respuestas

Actualización de ODI 11g a 12c ¿Qué ha cambiado? • Nomenclatura • Filosofía de desarrollo • Dos implementaciones de KM: Template style / Component style • Desarrollo de mappings (interfaces en 11g) orientado a flujo • Desaparecen interfaces temporales (amarillas) • Aparecen reusable mappings • Múltiples destinos en un mismo mapping

• Agentes: +Collocated Agents, Standalone Agent administrado por WMF • Conversión interfaces en mappings • Conversión de internal ID a Global Unique Identifiers (GUID)

Actualización de ODI 11g a 12c Nuevas funcionalidades • Rendimiento • Ejecución en paralelo automática • Ejecución tareas concurrentemente

• • • • •

KM’s para BigData (HDFS, Hbase, Hive) con SQOOP Seguridad (encriptación pwds, etc. en exportaciones) Soporte XML mejorado y añade JSON vía ODI Complex File Driver Debugger paso a paso Incorporación de tecnologías Oracle a la topología • Golden Gate • Warehouse Builder

Actualización de ODI 11g a 12c Modo compatibilidad

% % L

• Modos ejecución ODI 12c • Mappings nativos 12c • Compatiblidad 11g

• Como generar mappings en modo compatibilidad • Activando opción en la utilidad de actualización • Mediante una opción antes de importar un mapping

• Todos los módulos se ejecutan de la misma manera • Es posible convertir mappings compatibles 11g a 12c

% % L


Oracle Data Integrator 12c Conclusiones

• ODI 12c es una inversión segura • Consolida la experiencia de OWB y ODI para ofrecer elevada productividad • Amplia cobertura funcional, pero extensible y costumizable • Alta disponibilidad, monitorización

• Preparada para el presente " y el presente inminente • Conectores Big data • Real time (CDC, OGG)

Momento para migrar de OWB 11g a ODI 12g

ODI presentación

Recommend Documents