TECNICAS DE MIGRACION DE DATOS Y ETCL
INTRODUCCION
Cuando, como sucede en todo proceso de migración, se ha de proceder a integrar dos o más sistemas pueden usarse diferentes técnicas, siendo las más comunes:
Perfilado de datos: permite explorar los propios datos, agregando a los de origen las reglas necesarias. Esta técnica hace posible también el obtener resultados acerca de duplicidades o errores en los datos.
Limpieza de datos: que puede llevarse a cabo empleando para ello una herramienta de Data Quality que ayude a eliminar errores, incorrecciones o duplicidades, entre otras inconsistencias; y que, al mismo tiempo, enriquezca y homologue los datos, preparándolos para el sistema de destino.
Conexión a distintas fuentes de datos: una técnica que precisa de una herramienta ad hoc que garantice el hacerlo en condiciones de simultaneidad.
Las ventajas que proporciona el usar estas tecnologías se traducen en un aumento de la precisión, reducción del índice de errores, mayor agilidad y optimización del tiempo; ya que su automatización evita los procesos manuales, algo que supone su principal beneficio. Qué se debe tener en cuenta para la elección del software de ETL
Existen muchas herramientas de ETL diferentes, como también hay infinidad de bases de datos, sistemas y organizaciones distintas. En el momento de seleccionar la que liderará la migración e integración de datos pueden tomarse en consideración las recomendaciones de Gartner en cuanto a las cualidades que la herramienta ha de presentar:
Adaptabilidad a distintos sistemas operativos y plataformas hardware.
Capacidades de gestión de datos: en cuanto a minería, perfilado y calidad.
Habilidades para monitorizar, gestionar y controlar los procesos de integración de datos : en lo relativo a gestión de errores, recolección de
estadísticas de ejecución, controles de seguridad, etc.
Capacidades SOA.
Capacidades de diseño y entorno de desarrollo: como soporte para test, representaciones gráficas, modelos y flujos de datos y flujos de datos, etc.
Cualidades de arquitectura e integración referidas al grado de interoperabilidad, compactación y consistencia de los diferentes componentes que la formen.
Aunque la elección de un software de ETL no es sencilla, su repercusión en el curso del proyecto es decisiva. Una decisión correcta pasa por la automatización y en base a ella quedan garantizados:
Un aumento en la velocidad de desarrollo del proyecto.
La descentralización del control de la ejecución y de todos los procesos.
Una mayor agilidad en el negocio.
Mayor precisión.
Minimización de errores. HERRAMIENTAS ETL
IBM Cognos Data Manager
Oracle Warehouse Builder
Microsoft Integration Services
Informatica PowerCenter
IBM Cognos Data Manager Características:
IBM® Cognos Data Manager proporciona funciones dimensionales de extracción, transformación y carga (ETL) para conseguir una inteligencia empresarial de alto rendimiento.
Se puede integrar con la GUI de IBM Data Manager Designer para diseñar y crear prototipos
Se pueden ejecutar compilaciones y secuencias de trabajos en sistemas remotos desde un sistema de entorno de diseño de Data Manager.
Data Manager Engine se tiene que instalar en un sistema UNIX o Linux.
ORACLE DATABASE 11G ORACLE WAREHOUSE BUILDER ENTERPRISE ETL OPTION Caracteristicas:
La opción empresarial ETL (Enterprise ETL Option) para Warehouse Builder es una opción que puede ser adquirida con Oracle Warehouse Builder como parte de la edición empresarial del motor de base de datos.
Permite ejecutar cargas de datos usando métodos rápidos y eficientes tales como el Oracle Data Pump y transportable tablespaces.
Permite prever el efecto que puedan tener los cambios que se hagan en cualquier lugar de los metadatos del sistema ETL
Es posible generar un modelo para configurar los ambientes de desarrollo, pruebas y producción a niveles separados.
Microsoft SQL Server Integration Services Caracteristicas:
Puede extraer y transformar datos de diversos orígenes como archivos de datos XML, archivos planos y orígenes de datos relacionales y, después, cargar los datos en uno o varios destinos.
Se pueden realizar tareas de migración fácilmente usando tareas visuales.
Si se desea crear nueva funcionalidad, se pueden crear scripts en c# o VB.
Puede conseguir conectividad mediante CLI vía DLLs tipo ensamblador.
Informatica PowerCenter: Caracteristicas:
Calidad de datos generalizada para todos los grupos de interés, proyectos y aplicaciones utilizando una sola plataforma unificada.
Descubrimiento y análisis de datos, detección de riesgos ocultos, localización de problemas estructurales y detención de la propagación de los problemas de calidad.
Acceso, integración y entrega de los datos rápidamente, de forma rentable y sin codificación manual.
Normalización de los datos en los formatos de tabla de destino y carga en los nuevos sistemas.
Garantía de acceso y entrega de datos críticos a toda la empresa donde y cuando se necesiten, asegurando la conectividad sin límites a una amplia variedad de fuentes de datos.
Aplicación de test de validación para garantizar que los datos se mantiene libres de daños y que no han sufrido menoscabos durante su traslado o transformación.
Interesantes opciones de integración de metadatos, que marcan la diferencia con otras herramientas de migración de bases de datos.
Visibilidad y control para todos los usuarios de negocio, que les otorga la libertad necesaria para crear, administrar y compartir información empresarial de carácter crítico contextualizada durante el proceso de migración.
Enmascaramiento de datos sensibles efectivo antes de producirse el traslado a los nuevos sistemas de destino.
Creación de subconjuntos seguros de datos de producción procedentes de grandes bases de datos sin restricciones.
Extracción rápida de datos de los sistemas de legado con cero impacto en el desempeño operativo durante el proceso de migración de datos.
COMPARATIVA
FACILIDAD DE USO
IBM: Se puede integrar con la GUI de IBM Data Manager Designer pero este es un módulo aparte. Oracle: Fácil cuando se trata de información almacenada en bases de datos Oracle, debido a las herramientas Data Pump y transportable tablespaces, pero no ofrece mucha compatibilidad a otras BD. Microsoft: Se pueden realizar tareas de migración fácilmente usando tareas visuales. PowerCenter: Tiene una GUI fácil de utilizar, pero requeriere entrenamiento para aprovecharla. SOPORTE:
IBM: Soporte mundial contratando en paquete. Oracle: Vía soporte local Oracle Latinoamérica. Microsoft: Soporte vía plataforma TechNet. PowerCenter: Soporte mundial vía web y consultoría. IMPLEMENTACION
VELOCIDAD
IBM: Muy rápido cuando se trabaja con DB2 sin embargo la capa de compatibilidad disminuye la velocidad de conexión con distintos manejadores de base de datos. Oracle: La velocidad es proporcional al servicio Oracle en el cual este trabajando. Microsoft: La velocidad es proporcional al servicio MSSQL en el cual este trabajando. PowerCenter: Herramienta más rápida gracias a PushDown, sin embargo los cambios son en momento y no permite hacer Rollback a un estado anterior. CALIDAD DE LA INFORMACION
IBM: Mediante Cognos Data Manager Packages se pueden incorporar herramientas para DQ. Oracle: Permite DQ mediante el uso de Oracle Warehouse Builder Data Profiling Features. Microsoft: Requiere del software SQL Server Data Quality Services para ofrecer herramientas DQ. PowerCenter: Ofrece DQ a través de otro producto llamado Informatica Data Quality. MONITOREO
IBM: Maneja registro de históricos. Oracle: Tiene herramientas prácticas y extensivas de monitoreo y registro histórico. Microsoft: Tiene herramientas prácticas y extensivas de monitoreo y registro histórico. PowerCenter: Tiene herramientas prácticas y extensivas de monitoreo y registro histórico. CONECTIVIDAD
IBM: Cualquier conexión ODBC, DB2, para importación a DB2, cubos de información T1MAP. Oracle: Solamente compatible con bases de datos Oracle mismas que la instalada en el DataWarehouse Microsoft: Bases de datos SQL SERVER, ACCESS, ADO.NET PowerCenter: Varias bases de datos, archivos planos, xml, Excel, servicios web puede exportar como servicio web.
