AA5-EV1-VALIDACION DE TÉCNICAS DE MIGRACIÓN Y HERRAMIENTAS ETL
Presentado por:
ING. EDWIN ALEXANDER SUAREZ PALACIO ING. CESAR YAIR CASTRO MURILLO
ESPECIALIZACION BASE DE DATOS SENA Agosto de 2017
1
Contenido AA5-EV1-VALIDACION DE TÉCNICAS DE MIGRACIÓN Y HERRAMIENTAS ETL .. 1 Presentado por: .......................................................................................................... 1 MIGRACIÓN: SECRETARÍA DE HACIENDA .................................................................... 3 TÉCNICAS EXISTENTES.................................................................................................. 3 SINCRONIZACIÓN DE BASE DE DATOS ................................................................. 3 Renovación periódica ................................................................................................. 3 Desalojo ..................................................................................................................... 4 Anulación basada en sucesos .................................................................................... 4 Anulación programática .............................................................................................. 4 IMPORTACIÓN/EXPORTACIÓN DE ARCHIVOS (CSV) O XML A TRAVÉS DE COMANDOS DE CONSOLA O INTERFAZ GRÁFICA ....................................................... 5 SENTENCIAS DML .................................................................................................... 5 PROCEDIMIENTOS ETCL (EXTRACCIÓN, TRANSFORMACIÓN, LIMPIEZA Y CARGA) 5 Proceso de Extracción ................................................................................................ 6 Proceso de Transformación ........................................................................................ 7 Proceso de Carga ....................................................................................................... 8 HERRAMIENTAS ETL ....................................................................................................... 9 Libres ............................................................................................................................... 10 APLICACIÓN DE USO LIBRE .................................................................................. 10 APLICACIÓN SMBD SELECCIONADO ........................................................................... 11 1.
SQL SERVER INTEGRATION SERVICES: .......................................................... 11
2.
ORACLE WAREHOUSE BUILDER: ...................................................................... 12
3.
Enterprise ETL Option ........................................................................................... 12
VENTAJAS, DESVENTAJAS, TIEMPOS Y COSTO DE LAS HERRAMIENTAS. ............ 16 PRECIO LICENCIA SQL SERVER 2014 ......................................................................... 18 OTRAS COMPARATIVAS HERRAMIENTAS ETL ........................................................... 19 IBM Cognos Data Manager .......................................................................................... 19 ORACLE DATABASE 11G ORACLE WAREHOUSE BUILDER ENTERPRISE ETL OPTION ....................................................................................................................... 19 Microsoft SQL Server Integration Services ................................................................... 19 Informatica PowerCenter: ............................................................................................. 20 BIBLIOGRAFIA. ........................................................................................................ 20 2
ALCALDÍA DE SAN ANTONIO DEL SENA
MIGRACIÓN: SECRETARÍA DE HACIENDA La migración de datos es un proceso en el cual se traslada o se mueve información entre bases de datos. Por ejemplo: en el caso que se necesite pasar de un sistema gestión de base de datos como Mysql a otro sistema similar como SQL Server. Este proceso requiere realizar una serie de actividades técnicas para traspasar los datos almacenados en las base de datos de un sistema a otro.
TÉCNICAS EXISTENTES Existen varias técnicas relacionadas con los procesos de migración de datos, a continuación se relacionan las más utilizadas en los procesos actuales. SINCRONIZACIÓN DE BASE DE DATOS Es una técnica muy utilizada en procesos de migración de datos, consiste en hacer que dos bases de datos sean equivalentes en el mismo tiempo. Se logra mediante la copia de datos y metadatos de una base de datos origen a una base de datos destino mediante una herramienta tecnológica. Los asistentes de sincronización de los SMBD son configurados con las bases de datos origen y la base de datos destino, parametrizando la ubicación de particiones y métodos de seguridad. Renovación periódica La memoria caché se puede invalidar o actualizar de forma automática y periódica utilizando el actualizados de base de datos basado en el tiempo de JPA (Java™ Persistence API). El actualizador consulta periódicamente la base de datos utilizando un proveedor JPA para cualquier actualización o inserción que se haya producido desde la actualización anterior. Todos los cambios identificados se anulan o actualizan automáticamente cuando se utilizan con una memoria caché escasa. Si se utilizan con una memoria caché completa, las entradas se pueden descubrir e insertar en la memoria caché. Las entradas nunca se eliminan de la memoria caché.
3
Figura 1. Renovación periódica
Desalojo Las memorias caché escasas pueden utilizar políticas de desalojo para eliminar automáticamente datos de la memoria caché sin afectar a la base de datos. Existen tres políticas incorporadas incluidas en eXtreme Scale: tiempo de vida, menos usada recientemente y usada con menos frecuencia. Las tres políticas pueden, de forma opcional, desalojar datos de forma más agresiva a medida que la memoria pasa a estar limitada habilitando la opción de desalojo basado en memoria. Consulte Plug-ins para desalojar los objetos de memoria caché si desea información adicional. Anulación basada en sucesos Las memorias caché escasas y completas se pueden invalidar o actualizar utilizando un generador de sucesos como, por ejemplo, JMS (Java Message Service). La anulación utilizando JMS puede unirse manualmente a cualquier proceso que actualiza el programa de fondo utilizando un desencadenante de base de datos. Se proporciona un plug-in JMS ObjectGridEventListener en eXtreme Scale que puede notificar a los clientes cuando la memoria caché del servidor tiene algún cambio. Esto puede disminuir la cantidad de tiempo que el cliente puede ver los datos obsoletos. Anulación programática Las API eXtreme Scale permiten la interacción manual de la memoria caché cercana y de servidor utilizando los métodos de API Session.beginNoWriteThrough(), ObjectMap.invalidate() y EntityManager.invalidate(). Si un proceso de cliente o servidor ya no necesita una parte de los datos, los métodos de anulación se pueden utilizar para eliminar datos de la memoria caché cercana o del servidor. El método beginNoWriteThrough se aplica cualquier operación ObjectMap o EntityManager a la memoria caché local sin llamar al cargador. Si se invoca desde un cliente, la operación sólo se aplica a la memoria caché cercana (el cargador remoto no se invoca). Si se invoca en el servidor, la operación sólo se aplica a la memoria caché principal del servidor sin invocar el cargador.
4
IMPORTACIÓN/EXPORTACIÓN DE ARCHIVOS (CSV) O XML A TRAVÉS DE COMANDOS DE CONSOLA O INTERFAZ GRÁFICA Para las actividades de migración de datos es muy común utilizar archivos para el movimiento de los datos. Se pueden utilizar diferentes tipos de archivos, pero los formatos más usados son los archivos de texto, llamados archivos planos, que guardan la información sin formato usando solo caracteres. Los sistemas de codificación más comunes para estos archivos son: ASCII, ISO-8859-1 o Latín-1 y Unicode. Los archivos de texto pueden tener formato delimitado utilizando coma (,), punto y coma (;) o Tabulaciones para delimitar los campos definiendo de esa forma columnas y filas. También pueden tener formato de ancho fijo para los campos, que se utiliza para delimitar columnas y filas. Un formato de archivo plano muy usado es el “.CSV” (Comma-Separated-Values, en español Valores Separados por Coma), donde el delimitador usado es una coma. Muy usado para movimientos de datos con hojas de cálculo. Otro formato útil para la migración de datos es el “.XML” (eXtensible Marckup Language), que utiliza un metalenguaje extensible de etiquetas las cuales sirven como estándar para intercambio de información estructurada entre distintas plataformas. SENTENCIAS DML Una posibilidad de los SMBD es la utilización de sentencias DML para generar scripts SQL que permiten realizar migraciones de bases de datos existentes. En un script SQL se pueden realizar las siguientes tareas:
Copia de seguridad para creación de todos los usuarios, grupos, inicios de sesión y permisos. Creación o actualización de código para la implementación de una base de datos. Creación de un entorno de pruebas.
Los procesos se orientan al uso de las sentencias DML, para realizar el paso de datos de la base de datos de origen a la base de datos destino, a través de los entornos administrativos de los SMBD.
PROCEDIMIENTOS ETCL (EXTRACCIÓN, TRANSFORMACIÓN, LIMPIEZA Y CARGA) Esta técnica se basa en el diseño y construcción de procedimientos técnicos para realizar Extracción, Transformación, Limpieza y Cargue de Datos (ETCL). Los procedimientos o pasos necesarios para el desarrollo de un proyecto de migración de datos utilizando la metodología ETCL son:
5
Proceso de Extracción Para llevar a cabo de manera correcta el proceso de extracción, primera fase del ETL, hay que seguir los siguientes pasos:
Extraer los datos desde los sistemas de origen. Analizar los datos extraídos obteniendo un chequeo. Interpretar este chequeo para verificar que los datos extraídos cumplen la pauta o estructura que se esperaba. Si no fuese así, los datos deberían ser rechazados. 6
Convertir los datos a un formato preparado para iniciar el proceso de transformación.
Qué hay que tener en cuenta durante el proceso de extracción Es necesario extremar la cautela en esta fase del proceso de ETL que es la extracción, por lo que se debe tener en cuenta que:
En el momento de la extracción, análisis e interpretación: los formatos en que se presenten los datos o los modos como éstos estén organizados pueden ser distintos en cada sistema separado, ya que la mayoría de los proyectos de almacenamiento de datos fusionan datos provenientes de diferentes sistemas de origen. En el momento de la conversión de datos: conviene recordar que los formatos de las fuentes normalmente se encuentran en bases de datos relacionales o ficheros planos, pero pueden incluir bases de datos no relacionales u otras estructuras diferentes.
Proceso de Transformación La fase de transformación de un proceso de ETL aplica una serie de reglas de negocio o funciones sobre los datos extraídos para convertirlos en datos que serán cargados. Estas directrices pueden ser declarativas, pueden basarse en excepciones o restricciones pero, para potenciar su pragmatismo y eficacia, hay que asegurarse de que sean:
Declarativas. Independientes. Claras. Inteligibles. Con una finalidad útil para el negocio. El lado más práctico del proceso de transformación En ocasiones será necesario realizar alguna pequeña manipulación de los datos, sin embargo, y dependiendo siempre de las fuentes de datos, a veces los que hará falta será aplicar algunas de las siguientes transformaciones:
Seleccionar sólo ciertas columnas para su carga (por ejemplo, que las columnas con valores nulos no se carguen). Traducir códigos (por ejemplo, si la fuente almacena una “H” para Hombre y “M” para Mujer pero el destino tiene que guardar “1″ para Hombre y “2″ para Mujer). Codificar valores libres (por ejemplo, convertir “Hombre” en “H” o “Sr” en “1″). 7
Obtener nuevos valores calculados (por ejemplo, total_venta = cantidad * precio). Unir datos de múltiples fuentes (por ejemplo, búsquedas, combinaciones, etc.). Calcular totales de múltiples filas de datos (por ejemplo, ventas totales de cada región). Generar campos clave en el destino. Transponer o pivotar (girando múltiples columnas en filas o viceversa). Dividir una columna en varias (por ejemplo, columna “Nombre: García, Miguel”; pasar a dos columnas “Nombre: Miguel” y “Apellido: García”). Aplicar para formas simples o complejas, la acción que en cada caso se requiera, como por ejemplo: Datos OK: entregar datos a la siguiente etapa (fase de carga). Datos erróneos: ejecutar políticas de tratamiento de excepciones.
Proceso de Carga En esta fase, los datos procedentes de la fase anterior (fase de transformación) son cargados en el sistema de destino. Dependiendo de los requerimientos de la organización, este proceso puede abarcar una amplia variedad de acciones diferentes. Por ejemplo, en algunas bases de datos será necesario sobreescribir la información antigua con nuevos datos mientras que en otras, bastaría con resumir las transacciones y almacenar un promedio de la magnitud considerada. Los data warehouse mantienen un historial de los registros, de manera que es posible en todo momento hacer una auditoría de los mismos. Esto permite disponer de un rastro de toda la historia de un valor a lo largo del tiempo.
Existen dos formas básicas de desarrollar el proceso de carga:
Acumulación simple: esta manera de cargar los datos consiste en realizar un resumen de todas las transacciones comprendidas en el período de tiempo seleccionado y transportar el resultado como una única transacción hacia el data warehouse, almacenando un valor calculado que consistirá típicamente en un sumatorio o un promedio de la magnitud considerada. Es la forma más sencilla y común de llevar a cabo el proceso de carga. Rolling: este proceso sería el más recomendable en los casos en que se busque mantener varios niveles de granularidad. Para ello se almacena información resumida a distintos niveles, correspondientes a distintas agrupaciones de la unidad de tiempo o diferentes niveles jerárquicos en alguna o varias de las dimensiones de la magnitud almacenada (por ejemplo, totales diarios, totales semanales, totales mensuales, etc.).
8
HERRAMIENTAS ETL
Ab Initio Benetl BITool – ETL Software CloverETL Cognos Decisionstream (IBM) Data Integrator (herramienta de Sap Business Objects) ETI*Extract (ahora llamada Eti Solution) IBM Websphere DataStage (antes Ascential DataStage) Microsoft Integration Services Oracle Warehouse Builder WebFocus-iWay DataMigrator Server Pervasive Informática PowerCenter Oxio Data Intelligence ETL full web SmartDB Workbench Sunopsis (Oracle) SAS Dataflux Sybase Syncsort: DMExpress. Opentext (antes Genio, Hummingbird). 9
Libres
Kettle (ahora llamado Pentaho Data Integration). Scriptella Open Source ETL Tool. Talend Open Studio. Jitterbit.
APLICACIÓN DE USO LIBRE Benetl: Es una herramienta ETL de uso libre, desarrollada entre los años 2007 – 2014, hecha en java y trabaja con base a lenguajes de base de datos PostgreSQL o MySQL. Esta herramienta se creó para facilitar el trabajo con archivos TXT, CSV o archivos de fuente de datos XML. Para recuperar los datos que tendrán que definir un dato de tiempo y una entidad, que está representado por datos a calcular o para mostrar. Todos los objetos útiles serán creados por Benetl dentro de una base de datos MySQL o PostgreSQL. La aplicación también es capaz de recuperar automáticamente los datos mediante el uso de diversas tareas planificadas de su sistema. Mediante el uso de Benetl podrá se ha podido recuperar fácilmente la información de los archivos de datos planos, la organización y el filtrado de acuerdo con su dato de tiempo y entidad.
Caracteristicas Benetl
Tecnologias: Java 7 update 80 PostgreSQL 9.5.0 (con el apoyo plpgsql) MySQL 5.6 con función de OLD_PASSWORD de inicio de sesión de usuario (para controlador suministrado) Con Windows (se utiliza "tareas programadas") Benetl 4.7 funciona en Linux. Requerimientos Tecnicos: ejecución de Java (JRE) 1.7 base de datos PostgreSQL 9.5 con soporte plpgsql 10
base de datos de MySQL 5.6 con OLD_PASSWORD la función de inicio de sesión de usuario o el controlador oficial de MySQL (no incluido) Probado en sistemas de 64 bits Ejemplo: Nombre EtlTool… Definir Nombre, Este nombre es también el nombre de la tabla de PostgreSQL o tabla de MySQL donde se almacenan las líneas de datos. Un archivo llamado "EtlTool.bat" se creará en la carpeta de origen de datos. Debe presionar enter para validar su nombre EtlTool, y luego se pueden guardar los parámetros.
APLICACIÓN SMBD SELECCIONADO
1. SQL SERVER INTEGRATION SERVICES: Microsoft Integration Services es una plataforma para la creación de soluciones empresariales de transformaciones de datos e integración de datos. Integration Services sirve para resolver complejos problemas empresariales mediante la copia o descarga de archivos, el envío de mensajes de correo electrónico como respuesta a eventos, la actualización de almacenamientos de datos, la limpieza y minería de datos, y la administración de objetos y datos de SQL Server. Los paquetes pueden funcionar en solitario o junto con otros paquetes para hacer frente a las complejas necesidades de la empresa. Integration Services puede extraer y transformar datos de diversos orígenes como archivos de datos XML, archivos planos y orígenes de datos relacionales y, después, cargar los datos en uno o varios destinos. Integration Services contiene un variado conjunto de tareas y transformaciones integradas, herramientas para la creación de paquetes y el servicio Integration Services para ejecutar y administrar los paquetes. Las herramientas gráficas de Integration Services se pueden usar para crear soluciones sin escribir una sola línea de código. También se puede programar el amplio modelo de objetos de Integration Services para crear paquetes mediante programación y codificar tareas personalizadas y otros objetos de paquete.
11
El SSIS Import/Export Wizard permite mover datos de origen a destino sin modificar los datos del origen y permitiendo hacer iteraciones y cambios de información antes de llegar al destino dentro de tablas de ETL. Se pueden importar datos de fuentes diferentes a SQL Server. Con la herramienta Business Intelligence Development Studio, se pueden realizar tareas de migración fácilmente usando tareas visuales. Si se desea crear nueva funcionalidad, se pueden crear scripts en c# o VB. Los paquetes, que son las unidades de almacenamiento de estas tareas de migración se pueden guardar en archivos dtsx o en la base de datos en formato XML. Una vez implementado el paquete puede ser depurado. Caracteristicas SSIS
Ultima Version: SQL Server 2014 Integration Services Requerimientos Técnicos: Instalar en un equipo de 64 bits Instalar en un servidor dedicado para ETL Si requiere las características en tiempo de diseño de Integration Services, también debe instalar Business Intelligence Development Studio. Si necesita las versiones de 32 bits de las herramientas y del motor en tiempo de ejecución de Integration Services para ejecutar ciertos paquetes en modo de 32 bits, también debe instalar Business Intelligence Development Studio.
2. ORACLE WAREHOUSE BUILDER: Es una complete herramienta para todos los aspectos de administración de datos y metadatos. Esta brinda características para asegurar la calidad de datos, que integran el modelado relacional y multidimensional y que permiten la administración de todo el ciclo de vida de datos y metadatos
3. Enterprise ETL Option
12
La opción empresarial ETL (Enterprise ETL Option) para Warehouse Builder es una opción que puede ser adquirida con Oracle Warehouse Builder como parte de la edición empresarial del motor de base de datos (Oracle DB Enterprise Edition).
Figura 1 Opciones de Warehouse Builder. Este resumen ejecutivo cubre únicamente la ETL Enterprise Option como se muestra en la figura 1. Opciones Avanzadas para Carga de Datos En grandes implementaciones, más y más procesos se ejecutan en paralelo, agotando los recursos debido a las grandes cantidades de datos que participan en la carga. Como parte de la Enterprise ETL Option, Warehouse Builder permite ejecutar cargas de datos usando métodos rápidos y eficientes tales como el Oracle Data Pump y transportable tablespaces. Esta es una aproximación completamente diferente al movimiento de datos que se realiza por medio de conjuntos de datos controlados por el motor de base de datos. Los incrementos en velocidad de carga se deben entonces a la omisión de las capas SQL tradicionales.
Soporte a Dimensiones Lentamente Cambiantes Integrado
13
En Warehouse Builder la lógica de dimensiones lentamente cambiantes es diseñada en los metadatos de la dimensión. La dimensión captura toda la lógica que será aplicada a los datos que se insertan dentro de la misma.
Figura 2. Dimensiones Lentamente Cambiantes Una vez, los usuarios de negocio han decidido que atributos son importantes, el modelador de datos diseña la dimensión. Con los pasos de ETL el desarrollador ve esta dimensión como cualquier otra. El siguiente paso es definir cómo efectuar los cambios y actualizaciones en la dimensión. Warehouse Builder automatiza esto basado en la definición de la dimensión. La combinación entre estos pasos, el diseño y la estandarización hacen que los procesos relacionados con dimensiones lentamente cambiantes presente un alto desempeño en su ejecución. Traza Lineal de Principio a Fin Los servicios de administración de dependencias (Warehouse Builder Dependency Management ) le permiten prever el efecto que puedan tener los cambios que se hagan en cualquier lugar de los metadatos del sistema ETL antes de que estos puedan afectarlo y deterióralo.
14
Figura 3. Propagando cambios en el sistema.
Por primera vez, tendrá la posibilidad de administrar los cambios de su sistema de manera proactiva. Como un ejemplo (Figura 3), usted puede propagar los cambios a través de su sistema haciendo uso el Mapping Editor. Administración de Configuraciones Avanzadas Tener que mover sistemas o aplicaciones de un ambiente a otro (por ejemplo de desarrollo a producción) es un problema frecuente. Con la Enterprise ETL Option de Warehouse Builder, es posible generar un modelo para configurar los ambientes de desarrollo, pruebas y producción a niveles separados. Para mover los cambios desde el ambiente de desarrollo a producción, el código generado en desarrollo es modificado en producción solo en áreas específicas. Por ejemplo, la información sobre las conexiones es substituida por la definida en desarrollo.
15
VENTAJAS, DESVENTAJAS, TIEMPOS Y COSTO DE LAS HERRAMIENTAS. Técnica
Descripción Es una técnica muy utilizada en procesos de migración de datos, consiste en hacer que dos bases de datos sean equivalentes en el mismo tiempo. Se logra mediante la copia de datos y metadatos de una base de datos origen a una base de datos destino mediante una herramienta tecnológica. Los asistentes de sincronización de los Sincronización SMBD son configurados con las bases de datos origen y la base de datos destino, de base de parametrizando la ubicación de particiones y métodos de seguridad. datos Requerimientos técnicos
Ventajas
SQL SERVER INTEGRATION SQL Server SERVICES Estándar
Es un sistema de gestión de base de datos. Es útil para manejar y obtener datos de la red de redes. Nos permite olvidarnos de los ficheros que forman la base de datos. Si trabajamos en una red social nos permite agregar otros servidores de SQL Server. Por ejemplo, dos personas que trabajan con SQL Server, uno de ellos se puede conectar al servidor de su otro compañero y así se puede ver las bases de datos del otro compañero con SQL Server. SQL permite administrar permisos a todo. También permite que alguien conecte su SQLO al nuestro, pero sin embargo podemos decirle que no puede ver esta base de datos, pero otro sí.
16
Desventajas
Tiempo
3 semanas.
Utiliza mucho la memoria RAM para las instalaciones y utilización de software. No se puede utilizar como practicas porque se prohíben muchas cosas, tiene restricciones en lo particular. La relación, calidad y el precio está muy debajo comparado con oracle. Tiene muchos bloqueos a nivel de página, un tamaño de página fijo y demasiado pequeño, una pésima implementación de los tipos de datos variables.
Semana 1: Análisis de datos Semana 2: Migración y validación de información Semana 3: Optimizació n de proceso
ORACLE WAREHOUSE BUILDER
Oracle Estándar
Oracle es el motor de base de datos objetorelacional más usado a nivel mundial. Puede ejecutarse en todas las plataformas, desde una Pc hasta un supercomputador. Oracle soporta todas las funciones que se esperan de un servidor "serio": un lenguaje de diseño de bases de datos muy completo (PL/SQL) que permite implementar diseños "activos", con triggers y procedimientos almacenados, con una integridad referencial declarativa bastante potente. Permite el uso de particiones para la mejora de la eficiencia, de replicación e incluso ciertas versiones admiten la administración de bases de datos distribuidas. El software del servidor puede ejecutarse en multitud de sistemas operativos. Existe incluso una versión personal para Windows 9x, lo cual es un punto a favor para los desarrolladores que se llevan trabajo a casa. Oracle es la base de datos con más 17
Las versiones más recientes de Oracle son la 11g, 10g, 9g, 8g, desde el lanzamiento original de la 8 se sucedieron varias versiones con correcciones, hasta alcanzar la estabilidad en la 8.0.3. El motivo de tantos fallos fue, al parecer, la remodelación del sistema de almacenamiento por causa de la introducción de extensiones orientadas a objetos. El mayor inconveniente de Oracle es quizás su precio. Incluso las licencias de Personal Oracle son excesivamente caras, en mi opinión. Otro problema es la necesidad de ajustes. Un error frecuente consiste en pensar que basta instalar el Oracle en un servidor y enchufar directamente las aplicaciones clientes. Un Oracle mal configurado puede ser desesperantemente lento. También es elevado el coste de la información, y sólo últimamente han comenzado a aparecer buenos libros sobre asuntos técnicos distintos de la simple instalación y administración.
3 semanas. Semana 1: Análisis de datos Semana 2: Migración y validación de información Semana 3: Optimizació n de proceso
orientación INTERNET.
hacía
PRECIO LICENCIA SQL SERVER 2014 Ediciones de SQL Ideal para... Server 2014 Enterprise Rendimiento confiable y completo para satisfacer los requisitos de base de datos y de Business Intelligence más exigentes. La edición Enterprise proporciona los niveles de servicio y rendimiento más altos para las cargas de trabajo de nivel 1.* Business Una plataforma amplia que permite Intelligence a las organizaciones compilar e implementar soluciones de BI seguras, escalables y administrables. Standard Funcionalidad de Business Intelligence y administración de datos básica para cargas de trabajo que no son críticas, con recursos de TI mínimos.
Developer
Modelo de licencia
Disponibilidad de canal
Precio de Open NL (USD)
Por núcleo**
Licencias por volumen, hosting
$14,256***
Servidor + CAL****
Licencias por volumen, hosting
$8,908***
Por núcleo**
Licencias por volumen, hosting
$3,717***
Servidor + CAL**** Versión completamente funcional de Por usuario SQL Server que permite a los desarrolladores compilar, probar y demostrar aplicaciones con software de SQL Server de una manera rentable.
18
Licencias por volumen, $931*** hosting, minorista (FPP) Licencias por volumen, $38*** minorista (FPP)
OTRAS COMPARATIVAS HERRAMIENTAS ETL
IBM Cognos Data Manager Oracle Warehouse Builder Microsoft Integration Services Informatica PowerCenter
IBM Cognos Data Manager Características: IBM® Cognos Data Manager proporciona funciones dimensionales de extracción, transformación y carga (ETL) para conseguir una inteligencia empresarial de alto rendimiento. Se puede integrar con la GUI de IBM Data Manager Designer para diseñar y crear prototipos Se pueden ejecutar compilaciones y secuencias de trabajos en sistemas remotos desde un sistema de entorno de diseño de Data Manager. Data Manager Engine se tiene que instalar en un sistema UNIX o Linux. ORACLE DATABASE 11G ORACLE WAREHOUSE BUILDER ENTERPRISE ETL OPTION Caracteristicas: La opción empresarial ETL (Enterprise ETL Option) para Warehouse Builder es una opción que puede ser adquirida con Oracle Warehouse Builder como parte de la edición empresarial del motor de base de datos. Permite ejecutar cargas de datos usando métodos rápidos y eficientes tales como el Oracle Data Pump y transportable tablespaces. Permite prever el efecto que puedan tener los cambios que se hagan en cualquier lugar de los metadatos del sistema ETL Es posible generar un modelo para configurar los ambientes de desarrollo, pruebas y producción a niveles separados.
Microsoft SQL Server Integration Services Caracteristicas: Puede extraer y transformar datos de diversos orígenes como archivos de datos XML, archivos planos y orígenes de datos relacionales y, después, cargar los datos en uno o varios destinos. Se pueden realizar tareas de migración fácilmente usando tareas visuales. Si se desea crear nueva funcionalidad, se pueden crear scripts en c# o VB. Puede conseguir conectividad mediante CLI vía DLLs tipo ensamblador.
19
Informatica PowerCenter: Caracteristicas: Calidad de datos generalizada para todos los grupos de interés, proyectos y aplicaciones utilizando una sola plataforma unificada. Descubrimiento y análisis de datos, detección de riesgos ocultos, localización de problemas estructurales y detención de la propagación de los problemas de calidad. Acceso, integración y entrega de los datos rápidamente, de forma rentable y sin codificación manual. Normalización de los datos en los formatos de tabla de destino y carga en los nuevos sistemas. Garantía de acceso y entrega de datos críticos a toda la empresa donde y cuando se necesiten, asegurando la conectividad sin límites a una amplia variedad de fuentes de datos. Aplicación de test de validación para garantizar que los datos se mantiene libres de daños y que no han sufrido menoscabos durante su traslado o transformación. Interesantes opciones de integración de metadatos, que marcan la diferencia con otras herramientas de migración de bases de datos. Visibilidad y control para todos los usuarios de negocio, que les otorga la libertad necesaria para crear, administrar y compartir información empresarial de carácter crítico contextualizada durante el proceso de migración. Enmascaramiento de datos sensibles efectivo antes de producirse el traslado a los nuevos sistemas de destino. Creación de subconjuntos seguros de datos de producción procedentes de grandes bases de datos sin restricciones. Extracción rápida de datos de los sistemas de legado con cero impacto en el desempeño operativo durante el proceso de migración de datos.
BIBLIOGRAFIA. http://blog.powerdata.es/el-valor-de-la-gestion-de-datos/bid/288859/procesos-etl-extraccin-transformaci-n-carga http://blog.powerdata.es/el-valor-de-la-gestion-de-datos/bid/353132/ETL-t-cnicas-demigraci-n-y-tipos-de-software https://platzi.com/blog/que-es-postgresql/ http://www.oracle.com/technology/products/warehouse/11gr1/datasheets/warehousebuilder-11g-etldatasheet.pdf
20
