VALIDACIÓN DE TÉCNICAS DE MIGRACIÓN Y HERRAMIENTAS ETCL
CALLETANA LÓPEZ BALETA
INSTRUCTOR JONATHAN QUICENO VARGAS INGENIERO DE SISTEMAS Y COMPUTACIÓN
SERVICIO NACIONAL DE APRENDIZAJE PROGRAMA ESPECIALIZACIÓN TECNOLÓGICA EN GESTIÓN Y SEGURIDAD DE BASE DE DATOS MODALIDAD VIRTUAL 2017
INTRODUCCIÓN Cuando, como sucede en todo proceso de migración, se ha de proceder a integrar dos o más sistemas pueden usarse diferentes técnicas, siendo las más comunes: Perfilado de datos: permite explorar los propios datos, agregando a los de origen las reglas
necesarias. Esta técnica hace posible también el obtener resultados acerca de duplicidades o errores en los datos. Limpieza de datos: que puede llevarse a cabo empleando para ello una herramienta de Data
Quality que ayude a eliminar errores, incorrecciones o duplicidades, entre otras inconsistencias; y que, al mismo tiempo, enriquezca y homologue los datos, preparándolos para el sistema de destino. Conexión a distintas fuentes de datos: una técnica que precisa de una herramienta ad hoc que
garantice el hacerlo en condiciones de simultaneidad. Las ventajas que proporciona el usar estas tecnologías se traducen en un aumento de la precisión, reducción del índice de errores, mayor agil idad y optimización del tiempo; ya que su automatización evita los procesos manuales, algo que supone su principal beneficio.
Qué se debe tener en cuenta para la elección del software de ETL Existen muchas herramientas de ETL diferentes, como también hay infinidad de bases de datos, sistemas y organizaciones distintas. En el momento de seleccionar la que liderará la migración e integración de datos pueden tomarse en consideración las recomendaciones de Gartner en cuanto a las cualidades que la herramienta ha de presentar:
Adaptabilidad a distintos sistemas operativos y plataformas hardware.
Capacidades de gestión de datos: en cuanto a minería, perfilado y calidad.
Habilidades para monitorizar, gestionar y controlar los procesos de integración de datos: en lo
relativo a gestión de errores, re colección de estadísticas de ejecución, controles de se guridad, etc. Capacidades SOA.
Capacidades de diseño y entorno de desarrollo: como soporte para test, representaciones g ráficas,
modelos y flujos de datos y flujos de datos, etc.
Cualidades de arquitectura e integración referidas al grado de interoperabilidad, compactación y
consistencia de los diferentes componentes que la formen. Aunque la elección de un software de ETL no es sencilla, su repercusión en el curso del proyecto es decisiva. Una decisión correcta pasa por la automatización y en base a ella quedan garantizados: Un aumento en la velocidad de desarrollo del proyecto.
La descentralización del control de la ejecución y de todos los procesos.
Una mayor agilidad en el negocio.
Mayor precisión.
Minimización de errores. HERRAMIENTAS ETL
IBM Cognos Data Manager
Oracle Warehouse Builder
Microsoft Integration Services
Informatica PowerCenter
IBM Cognos Data Manager Características: IBM® Cognos Data Manager proporciona funciones dimensionales de extracción, transformación
y carga (ETL) para conseguir una inteligencia empresarial de alto rendimiento. Se puede integrar con la GUI de IBM Data Manager Designer para diseñar y crear prototipos
Se pueden ejecutar compilaciones y secuencias de trabajos en sistemas remotos desde un sistema
de entorno de diseño de Data Manager. Data Manager Engine se tiene que instalar en un sistema UNIX o Linux.
ORACLE DATABASE 11G ORACLE WAREHOUSE BUILDER ENTERPRISE ETL OPTION Caracteristicas: La opción empresarial ETL (Enterprise ETL Option) para Warehouse Builder es una opción que
puede ser adquirida con Oracle Warehouse Builder como parte de la edición empresarial del motor de base de datos. Permite ejecutar cargas de datos usando métodos rápidos y eficientes tales como el Oracle Data
Pump y transportable tablespaces. Permite prever el efecto que puedan tener los cambios que se hagan en cualquier lugar de los
metadatos del sistema ETL Es posible generar un modelo para configurar los ambientes de desarrollo, pruebas y producción
a niveles separados.
Microsoft SQL Server Integration Services Caracteristicas: Puede extraer y transformar datos de diversos orígenes como archivos de datos XML, archivos
planos y orígenes de datos relacionales y, después, cargar los datos en uno o varios destinos. Se pueden realizar tareas de migración fácilmente usando tareas visuales. Si se desea crear nueva funcionalidad, se pueden crear scripts en c# o VB.
Puede conseguir conectividad mediante C LI vía DLLs tipo ensamblador.
Informatica PowerCenter: Caracteristicas: Calidad de datos generalizada para todos los grupos de i nterés, proyectos y aplicaciones utilizando
una sola plataforma unificada. Descubrimiento y análisis de datos, detección de riesgos ocultos, localización de problemas
estructurales y detención de la propagación de los problemas de calidad. Acceso, integración y entrega de los datos rápidamente, de forma rentable y sin codificación
manual.
Normalización de los datos en los formatos de tabla de destino y carga en los nuevos sistemas.
Garantía de acceso y entrega de datos críticos a toda la empresa donde y cuando se necesiten,
asegurando la conectividad sin límites a una amplia variedad de fuentes de datos. Aplicación de test de validación para garantizar que los datos se mantienen libres de daños y que
no han sufrido menoscabos durante su traslado o transformación. Interesantes opciones de integración de metadatos, que marcan la diferencia con otras
herramientas de migración de bases de datos. Visibilidad y control para todos los usuarios de negocio, que les otorga la libertad necesaria para
crear, administrar y compartir información empresarial de carácter crítico contextualizada durante el proceso de migración. Enmascaramiento de datos sensibles e fectivo antes de producirse el traslado a los nuevos sistemas
de destino. Creación de subconjuntos seguros de datos de producción procedentes de grandes bases de datos
sin restricciones. Extracción rápida de datos de los sistemas de legado con cero impacto en el desempeño operativo
durante el proceso de migración de datos.
FACILIDAD DE USO IBM: Se puede integrar con la GUI de IBM Data Manager Designer pero este es un módulo
aparte. Oracle: Fácil cuando se trata de información almacenada en bases de datos Oracle, debido a las
herramientas Data Pump y transportable tablespaces, pero no ofrece mucha compatibilidad a otras BD. Microsoft: Se pueden realizar tare as de migración fácilmente usando tareas visuales.
PowerCenter: Tiene una GUI fácil de utilizar, pero requiere entrenamiento para aprovecharla. SOPORTE:
IBM: Soporte mundial contratando en paquete.
Oracle: Vía soporte local Oracle Latinoamérica.
Microsoft: Soporte vía plataforma TechNet.
PowerCenter: Soporte mundial vía web y consultoría
VELOCIDAD IBM: Muy rápido cuando se trabaja con DB2 sin embargo la capa de compatibilidad disminuye la
velocidad de conexión con distintos manejadores de base de datos. Oracle: La velocidad es proporcional al servicio Oracle en el cual e ste trabajando.
Microsoft: La velocidad es proporcional al servicio MSSQL en el cual este trabajando.
PowerCenter: Herramienta más rápida gracias a PushDown, sin embargo los cambios son en
momento y no permite hacer Rollback a un estado anterior.
CALIDAD DE LA INFORMACION IBM: Mediante Cognos Data Manager Package s se pueden incorporar herramientas para DQ.
Oracle: Permite DQ mediante el uso de Oracle Warehouse Builder Data Pr ofiling Features.
Microsoft: Requiere del software SQL Server Data Quality Services para ofrecer herramientas DQ.
PowerCenter: Ofrece DQ a través de otro producto llam ado Informatica Data Quality.
MONITOREO IBM: Maneja registro de históricos.
Oracle: Tiene herramientas prácticas y extensivas de monitoreo y registro histórico.
Microsoft: Tiene herramientas prácticas y extensivas de monitoreo y registro histórico.
PowerCenter: Tiene herramientas prácticas y extensivas de monitoreo y registro histórico.
CONECTIVIDAD IBM: Cualquier conexión ODBC, DB2, para importación a DB2, cubos de información T1MAP.
Oracle: Solamente compatible con bases de datos Oracle mismas que la instalada en el
DataWarehouse Microsoft: Bases de datos SQL S ERVER, ACCESS, ADO.NET
PowerCenter: Varias bases de datos, archivos planos, xml, Excel, servicios web puede exportar
como servicio web.
