Aa5-Ev1 Migración y Herrameinta de ETCL.
PROGRAMA DE FORMACIÓN: FORMACIÓN: Especialización Tecnológica Tecnológica En Gestión Y Seguridad De Bases De Datos Modalidad Virtual
Servicio Nacional De Aprendizaje SENA 2017
Técnica
Requerimientos Requerimient os técnicos para su utilización
Ventajas y desventajas
Sincronización de base de datos
Copia de datos y metadatos de una base de datos origen a una base de datos destino mediante una herramienta tecnológica. Los asistentes de sincronización de los SMBD son configurados con las bases de datos origen y la base de datos destino, parametrizando la ubicación de particiones y métodos de seguridad.
Importación/Ex portación de Archivos (CSV) o XML a través de comandos de consola o interfaz gráfica
Se pueden utilizar diferentes tipos de archivos pero los formatos más usados son los archivos de texto, llamados archivos planos, que guardan la información sin formato usando solo caracteres Los sistemas de codificación más comunes para estos archivos son: ASCII, ISO-8859-1 o Latín-1 y Unicode.
Sentencias DML
Una posibilidad de los SMBD es la utilización de sentencias DML para generar scripts SQL que permiten realizar migraciones de bases de datos existentes.
Procedimiento s ETCL (Extracción, Transformació n, Limpieza y Carga)
Esta técnica se basa en el diseño y construcción de procedimientos técnicos para realizar Extracción, Transformación, Limpieza y Cargue de Datos (ETCL).
Un fallo en uno de los servidores de base de datos no impida a los usuarios seguir utilizando la aplicación. A través de múltiples servidores, te aseguras que los datos van a estar disponibles incluso en el caso de que una de las máquinas tenga un fallo grave de hardware. El sistema distribuido de gestión de bases de datos debe ser capaz de enrutar a los usuarios afectados a otro de los nodos disponibles. al estar los datos distribuidos en diferentes servidores, los múltiples accesos no saturan los servidores Los archivos de texto pueden tener formato delimitado utilizando coma(,), punto y coma (;) o Tabulaciones para delimitar los campos definiendo de esa forma columnas y filas. También pueden tener formato de ancho fijo para los campos, que se utiliza para delimitar columnas y filas. Un formato de archivo plano muy usado es el “.CSV” (CommaSeparatedValues, en español Valores Separados por Coma), donde el delimitador usado es una coma. Muy usado para movimientos de datos con hojas de cálculo. En un script SQL se pueden realizar las siguientes tareas: • Copia de seguridad para cre ación de todos los usuarios, grupos, inicios de sesión y permisos. • Creación o actualización de código para la implementación de una base de datos. • Creación de un entorno de pruebas Todos los procesos ETL constan de tres fases diferenciadas: 1) Extracción. 2) Transformación. 3) Carga.
2. Herramientas ETCL Benetl: Es una herramienta ETL de uso libre, desarrollada entre los años 2007 – 2014, hecha en java y trabaja con base a lenguajes de base de datos PostgreSQL o MySQL . Esta herramienta se creó para facilitar el trabajo con archivos TXT, CSV o archivos de fuente de datos XML. Para recuperar los datos que tendrán que definir un dato de tiempo y una entidad, que está representado por datos a calcular o para mostrar. Todos los objetos útiles serán creados por Benetl dentro de una base de datos MySQL o PostgreSQL. La aplicación también es capaz de recuperar automáticamente los datos mediante el uso de diversas tareas planificadas de su sistema. Mediante el uso de Benetl podrá se ha podido recuperar fácilmente la información de los archivos de datos planos, la organización y el filtrado de acuerdo con su dato de tiempo y entidad.
Caracteristicas Benetl
Tecnologias: Java 7 update 80 PostgreSQL 9.5.0 (con el apoyo plpgsql) MySQL 5.6 con función de OLD_PASSWORD de inicio de sesión de usuario (para controlador suministrado) Con Windows (se utiliza "tareas programadas") Benetl 4.7 funciona en Linux. Requerimientos Tecnicos: ejecución de Java (JRE) 1.7 base de datos PostgreSQL 9.5 con soporte plpgsql base de datos de MySQL 5.6 con OLD_PASSWORD la función de inicio de sesión de usuario o el controlador oficial de MySQL (no incluido) Probado en sistemas de 64 bits Ejemplo: Nombre EtlTool… Definir Nombre, Este nombre es también el nombre de la tabla de PostgreSQL o tabla de MySQL donde se almacenan las líneas de datos. Un archivo llamado "EtlTool.bat" se creará en la carpeta de origen de datos. Debe presionar enter para validar su nombre EtlTool, y luego se pueden guardar los parámetros.
Aplicación SMBD seleccionado SQL Server Integration Services: Microsoft Integration Services es una plataforma para la creación de soluciones empresariales de transformaciones de datos e integración de datos. Integration Services sirve para resolver complejos problemas empresariales mediante la copia o descarga de archivos, el envío de mensajes de correo electrónico como respuesta a eventos, la actualización de almacenamientos de datos, la limpieza y minería de datos, y la administración de objetos y datos de SQL Server. Los paquetes pueden funcionar en solitario o junto con otros paquetes para hacer frente a las complejas necesidades de la empresa. Integration Services puede extraer y transformar datos de diversos orígenes como archivos de datos XML, archivos planos y orígenes de datos relacionales y, después, cargar los datos en uno o varios destinos. Integration Services contiene un variado conjunto de tareas y transformaciones integradas, herramientas para la creación de paquetes y el servicio Integration Services para ejecutar y administrar los paquetes. Las herramientas gráficas de Integration Services se pueden usar para crear soluciones sin escribir una sola línea de código. También se puede programar el amplio modelo de objetos de Integration Services para crear paquetes mediante programación y codificar tareas personalizadas y otros objetos de paquete. El SSIS Import/Export Wizard permite mover datos de origen a destino sin modificar los datos del origen y permitiendo hacer iteraciones y cambios de información antes de llegar al destino dentro de tablas de ETL. Se pueden importar datos de fuentes diferentes a SQL Server. Con la herramienta Business Intelligence Development Studio, se pueden realizar tareas de migración fácilmente usando tareas visuales. Si se desea crear nueva funcionalidad, se pueden crear scripts en c# o VB. Los paquetes, que son las unidades de almacenamiento de estas tareas de migración se pueden guardar en archivos dtsx o en la base de datos en formato XML. Una vez implementado el paquete puede ser depurado. Caracteristicas SSIS
Ultima Version: SQL Server 2014 Integration Services Requerimientos Técnicos:
Instalar en un equipo de 64 bits
Instalar en un servidor dedicado para ETL
Si requiere las características en tiempo de diseño de Integration Services, también debe instalar Business Intelligence Development Studio. Si necesita las versiones de 32 bits de las herramientas y del motor en tiempo de ejecución de Integration Services para ejecutar ciertos paquetes en modo de 32 bits, también debe instalar Business Intelligence Development Studio.
1. Oracle Warehouse Builder:
Es una complete herramienta para todos los aspectos de administración de datos y metadatos. Esta brinda características para asegurar la calidad de datos, que integran el modelado relacional y multidimensional y que permiten la administración de todo el ciclo de vida de datos y metadatos Enterprise ETL Option La opción empresarial ETL (Enterprise ETL Option) para Warehouse Builder es una opción que puede ser adquirida con Oracle Warehouse Builder como parte de la edición empresarial del motor de base de datos (Oracle DB Enterprise Edition). Opciones Avanzadas para Carga de Datos En grandes implementaciones, más y más procesos se ejecutan en paralelo, agotando los recursos debido a las grandes cantidades de datos que participan en la carga. Como parte de la Enterprise ETL Option, Warehouse Builder permite ejecutar cargas de datos usando métodos rápidos y eficientes tales como el Oracle Data Pump y transportable tablespaces. Esta es una aproximación completamente diferente al movimiento de datos que se realiza por medio de conjuntos de datos controlados por el motor de base de datos. Los incrementos en velocidad de carga se deben entonces a la omisión de las capas SQL tradicionales. Soporte a Dimensiones Lentamente Cambiantes Integrado En Warehouse Builder la lógica de dimensiones lentamente cambiantes es diseñada en los metadatos de la dimensión. La dimensión captura toda la lógica que será aplicada a los datos que se insertan dentro de la misma. Una vez, los usuarios de negocio han decidido que atributos son importantes, el modelador de datos diseña la dimensión. Con los pasos de ETL el desarrollador ve esta dimensión como cualquier otra. El siguiente paso es definir cómo efectuar los cambios y actualizaciones en la dimensión. Warehouse Builder automatiza esto basado en la definición de la dimensión. La combinación entre estos pasos, el diseño y la estandarización hacen que los procesos relacionados con dimensiones lentamente cambiantes presente un alto desempeño en su ejecución. Traza Lineal de Principio a Fin Los servicios de administración de dependencias (Warehouse Builder Dependency Management ) le permiten prever el efecto que puedan tener los cambios que se hagan en cualquier lugar de los metadatos del sistema ETL antes de que estos puedan afectarlo y deterióralo. Administración de Configuraciones Avanzadas
Tener que mover sistemas o aplicaciones de un ambiente a otro (por ejemplo de desarrollo a producción) es un problema frecuente. Con la Enterprise ETL Option de Warehouse Builder, es posible generar un modelo para configurar los ambientes de desarrollo, pruebas y producción a niveles separados. Para mover los cambios desde el ambiente de desarrollo a producción, el código generado en desarrollo es modificado en producción solo en áreas específicas. Por ejemplo, la información sobre las conexiones es substituida por la definida en desarrollo. IBM InfoSphere DataStage: IBM InfoSphere DataStage integra datos de múltiples sistemas utilizando una estructura paralela de elevado rendimiento y da soporte a la gestión ampliada de metadatos y la conectividad de la empresa. Esta plataforma escalable proporciona una integración más flexible de todos los tipos de datos, incluidos big data inactivos (basados en Hadoop) o en ejecución (basados en secuencias), en plataformas de mainframe y distribuidas. InfoSphere DataStage incluye estas características y beneficios: La plataforma ETL potente y escalable —admite la recopilación, integración y transformación de grandes volúmenes de datos con estructuras de datos tanto simples como complejas. El soporte para Big Data y Hadoop —permite el acceso directo a BIG Data en un sistema de archivos distribuido. Integración de datos prácticamente en tiempo real —y conectividad entre aplicaciones y orígenes de datos. La gestión de cargas de trabajo y reglas de negocio —optimiza la utilización de hardware y prioriza las tareas más importantes. La facilidad de uso—amplía la velocidad, la flexibilidad y la efectividad para crear, desplegar, actualizar y gestionar la infraestructura de integración de datos.
