VALIDACIÓN DE TÉCNICAS DE MIGRACIÓN Y HERRAMIENTAS ETCL AA5-Ev1
GERMAN EDUARDO HOMEZ RODRIGUEZ LADY JOHANNA ROMERO VILLAMIL APRENDICES
FERNANDO FERNANDO LÓPEZ LÓPE Z TRUJILLO INSTRUCTOR
ESPECIALIZACIÓN ESPECIALIZACIÓN TECNOLOGICA EN GESTIÓN Y SEGURIDAD DE BASE DE DATOS FICHA: 1764152 BOGOTÁ D.C. 2019
VALIDACIÓN DE TÉCNICAS DE MIGRACIÓN Y HERRAMIENTAS ETCL
ENTIDAD: Alcaldía de San Antonio del SENA DEPENDENCIA: Secretaría de Hacienda
MIGRACIÓN DE DATOS Llamamos migración de datos al proceso que necesitamos hacer para transferir l os datos de un sistema a otro mientras cambiamos el sistema de almacenamiento donde se encuentran los datos, o bien mientras se practican las modificaciones necesarias en la base de datos o la aplicación que los gestiona. Dependiendo del tipo de iniciativa que se quiera llevar a cabo, es necesario un planteamiento distinto. Así, podría hablarse de tres formas diferentes de abordar el data migration: 1. Usando un software basado en matriz, que es la mejor opción para el movimiento de datos entre sistemas similares. 2. Apoyándose en un software basado en el host: que sería la opción más recomendable para las migraciones específicas de la aplicación. Es el caso de la copia de archivos, las actualizaciones de la plataforma o la replicación de la base de datos. 3. Empleando los dispositivos de red. De esta manera, se migran volúmenes, archivos o bloques de datos del modo más apropiado, en función de su configuración. Hay algunos factores que se deben considerar en un proyecto de migración de datos:
Tiempo que llevará realizar la migración completa. Cantidad de tiempo de inactividad que se requerirá. Riesgo para el negocio derivado de problemas técnicos de compatibilidad, corrupción de datos, problemas de rendimiento de aplicaciones y pérdida u omisión de datos. Para minimizar el riesgo inherente al movimiento de datos, es preciso: 1. Entender qué datos se está migrando, de qué tipo son, cuál es su origen y qué formato adquirirán en destino, una vez completado el traslado. 2. Aplicar los procesos ETL (extracción, transformación y carga) preferiblemente antes de proceder a la migración. 3. Definir e implementar políticas de migración de datos para garantizar el orden necesario a lo largo de todo el proceso. 4. Apostar por las pruebas y validación de los datos mig rados, por ser la única manera efectiva de asegurarse de que reúnen todos los a tributos de calidad necesarios.
TÉCNICAS EXISTENTES EN UNA MIGRACIÓN DE BASES DE DATOS
Sincronización de bases de datos:
Esto se logrará con la copia de datos y metadatos destino mediante una herramienta tecnológica, en la c ual se configuran los sistemas de gestión de bases de datos con bases de datos origen y destino parametrizando la ubicación de particiones y método de seguridad.
Importación y Exportación de archivos a través de comandos :
Para estas actividades es común utilizar los archivos de movimientos de datos, en los cuales se pueden utilizar diferentes tipos de archivos, pero algunos de los f ormatos más comunes son archivos de texto o lo que comúnmente llamamos archivos planos estos archivos son los que guardan los datos sin ningún formato usando solo caracteres. Estos archivos son delimitados por comas por puntos y comas o se delimitan para los campos y así poder definir las filas y las columnas, como también se puede elegir el ancho para los campos, los cuales utilizaremos para delimitar las filas y las columnas. Los formatos más utilizados en las migraciones de datos son el Commaseparated-values (que son los valores separados por comas o los comúnmente .CVS donde para delimitarlos es usada la coma el otro formato utilizado es el lenguaje de marcado extensible este es usado como lenguaje o metalenguaje extensible de etiquetas las cuales sirven como estándar para el intercambio de información o datos estructurados entre distintas plataformas. Su sigla en inglés es .XML. El otro formato utilizado es la tabulación, estos archivos con esta tabulación y esta extensión solo son utilizados en ciertas aplicaciones es posible que sean archivos de datos mas no de documentos o medios de comunicación lo que no se pueden ver en ciertas circunstancias o programas, este formato de tipo de texto será utilizado en la tabulación o espacios para separar las columnas o filas de los datos por esto no se recomienda este tipo de formato debido a que generan muchos tipos de caracteres en blanco y para poder hacer coincidir las filas y las columnas con las siguientes correspondiente al campo.
Sentencias de lenguaje de manipulación de datos (DML) : estas sentencias son utilizadas para gestionar datos dentro de schemas. Una posibilidad de los sistemas gestores de datos es la utilización de esta sentencia para generar los respectivos scripts SQL que permiten realizar las migraciones existentes.
TÉCNICA DE MIGRACIÓN DE DATOS
VENTAJAS Y DESVENTAJAS Un fallo en uno de los servidores de base de datos no impida a los usuarios seguir utilizando la aplicación.
Sincronización de bases de datos
Importación y Exportación de archivos a través de comandos
A través de múltiples servidores, te aseguras que los datos van a estar disponibles incluso en el caso de que una de las máquinas tenga un fallo grave de hardware. El sistema distribuido de gestión de bases de datos debe ser capaz de enrutar a los usuarios afectados a otro de los nodos disponibles. al estar los datos distribuidos en diferentes servidores, los múltiples accesos no saturan los servidores Los archivos de texto pueden tener formato delimitado utilizando coma(,), punto y coma (;) o Tabulaciones para delimitar los campos definiendo de esa forma columnas y filas. También pueden tener formato de ancho fijo
para los campos, que se utiliza para delimitar columnas y filas.
Sentencias de lenguaje de manipulación de datos (DML)
Un formato de archivo plano muy usado es el “.CSV” (Comma-SeparatedValues, en español Valores Separados por Coma), donde el delimitador usado es una coma. Muy usado para movimientos de datos con hojas de cálculo. En un script SQL se pueden realizar las siguientes tareas: • Copia de seguridad para creación de todos los usuarios, grupos, inicios de sesión y permisos. • Creación o actualización de código para la implementación de una base de datos. • Creación de un entorno de pruebas
PROCEDIMIENTOS ETCL Este proceso tiene que ver con el diseño basado en los resultados del análisis de la migración y el uso de mapeo detallado, de igual manera realizaremos una verificación de los requerimientos del cliente para establecer los alcances respectivos y configurar estas técnicas. Para ello hablaremos de los siguientes pasos:
Extracción: Lectura de los datos sistema operacional
Durante la carga inicial Mantenimiento
Seleccionar las fuentes de datos: Aquí vemos que los usuarios son los más importantes y sobretodo son los elementos más claves para identificar las fuentes verdaderas de datos de cada proceso. Debemos tener un conocimiento técnico acerca de la plataforma final. Por esto una migración requiere de todos los procesos de la empresa y del conocimiento de ellos; Ya identificadas las fuentes de datos, se tiene la informaci ón para llenar la base de datos del nuev o sistema.
Entender los datos: Una vez identificado las fuentes se debe tener con claridad los elementos requeridos para saber si hay errores en los datos u omisiones presentadas. Al determinar los errores se podrá estimar tiempos requeridos y costos g enerados para hacer el análisis de datos. Los aspectos que se deben tener en cuenta l os siguientes niveles:
Campo, si se responde los campos de origen con el destino. Refiriéndose a la consistencia de la información y a los tipos de datos que se manejan. Tablas, que existan las coincidencias respectivas como las llaves primarias y foráneas Cruce, cuando existen relaciones entre tablas los procesos de conversión deben mantener la consistencia en las relaciones de Bases de datos Operacionales Correspondencia Extracción Transformación Almacén de datos Almacenamiento Interno tablas para que la información no se vea afectada en la base de datos destino.
Ejecución de la extracción : Si los datos operacionales están mantenidos en un sistema de gestión de base de datos, la extracción de datos se puede dirigir a consultas en SQL o rutinas programadas. Si los datos operacionales están en un sistema propietario es decir no se conoce el formato de datos o en una fuente externa textual, hipertextual u hojas de cálculo, la extracción puede ser difícil y puede tener que realizarse a partir de informes o volcados de datos proporcionados por los propietarios que deberán ser procesados posteriormente. Los cambios de datos operacionales (Relevantes) que por cualquier motivo han sufrido una modificación de fecha del último mantenimiento. Los métodos que se utilizaran son:
Carga Total Comparación de instancias Uso de marcas de tiempo Uso de disipadores Uso de ficheros de log Sistema de operación Uso de técnicas mixtas.
Transformación: En esta encontramos una serie de reglas de negocio o funciones sobre los datos extraídos para convertirlos en datos que serán cargados, algunas requerirán alguna pequeña manipulación de los datos, pero cuando es necesaria aplicaran las siguientes transformaciones.
Como se aprecia anteriormente, se realizarán los pasos de limpieza y transformación de los datos de acuerdo lo presentado en los bases de datos origen.
Limpieza de datos: esta es la parte más importante en la migración de datos, es poder hacer limpieza de datos para que en la base destino no llegue información basura o no necesaria. El proceso contempla realizar varias actividades complejas con el objeto de identificar datos desactualizados, información en blanco o faltantes registros con duplicados o cualquier tipo de información que se deba eliminar o limpiar, de tal modo que se lleven los datos al nuevo sistema.
Transformación de los datos: aquí es donde miramos que se necesita y el proceso adecuado a ejecutar. Las transformaciones de datos se deberán colocar en doble vía o realizar con las copias de las bases de origen, de tal modo que la transformación no es consistente se pueda deshacer, transformar y corregir de tal modo que se pueda garantizar la buena migración para un buen resultado se debe garantizar la calidad de la transformación de los datos.
Cargue de datos: en este proceso se deberá hacer las actividades de mover, probar, auditar, y validar los datos según los requerimientos estipulados.
Mover datos: aquí requeriremos herramientas técnicas de modo que la información de la base de datos final sea consistente con la original. En este proceso tenemos programas o herramientas de migración, códigos para la copia de datos, procesos almacenados para una buena migración de base de datos.
HERRAMIENTAS ETCL Benetl: Es una herramienta ETL de uso libre, desarrollada entre los años 2007 – 2014, hecha en java y trabaja con base a lenguajes de base de datos PostgreSQL o MySQL. Esta herramienta se creó para facilitar el trabajo con archivos TXT, CSV o archivos de fuente de datos XML. Para recuperar los datos que tendrán que definir un dato de tiempo y una entidad, que está representado por datos a calcular o para mostrar. Todos los objetos útiles serán creados por Benetl dentro de una base de datos MySQL o PostgreSQL. La aplicación también es capaz de recuperar automáticamente los datos mediante el uso de diversas tareas planificadas de su sistema. Mediante el uso de Benetl podrá se ha podido recuperar fácilmente la información de los archivos de datos planos, la organización y el filtrado de acuerdo con su dato de tiempo y entidad.
Caracteristicas Benetl Tecnologías:
Java 7 update 80 PostgreSQL 9.5.0 (con el apoyo plpgsql) MySQL 5.6 con función de OLD_PASSWORD de inicio de sesión de usuario (para controlador suministrado)
Con Windows (se utiliza "tareas programadas")
Benetl 4.7 funciona en Linux.
Requerimientos Técnicos:
Ejecución de Java (JRE) 1.7 Base de datos PostgreSQL 9.5 con soporte plpgsql Base de datos de MySQL 5.6 con OLD_PASSW ORD la función de inicio de sesión de usuario o el controlador oficial de MySQL (no incluido) Probado en sistemas de 64 bits
Ejemplo: Nombre EtlTool… Definir Nombre, Este nombre es también el nombre de la tabla de PostgreSQL o tabla de MySQL donde se almacenan las líneas de datos. Un archivo llamado "EtlTool.bat" se creará en la carpeta de origen de datos. Debe presionar enter para validar su nombre EtlTool, y luego se pueden guardar los parámetros.
APLICACIÓN SMBD SELECCIONADO
SQL Server Integration Services Microsoft Integration Services es una plataforma para la creación de soluciones empresariales de transformaciones de datos e integración de datos. Integration Services sirve para resolver complejos problemas empresariales mediante la copia o descarga de archivos, el envío de mensajes de correo electrónico como respuesta a eventos, la actualización de almacenamientos de datos, la limpieza y minería de datos, y la administración de objetos y datos de SQL Server. Los paquetes pueden funcionar en solitario o junto con otros paquetes para hacer frente a las complejas necesidades de la empresa. Integration Services puede extraer y transformar datos de diversos orígenes como archivos de datos XML, archivos planos y orígenes de datos relacionales y, después, cargar los datos en uno o varios destinos. Integration Services contiene un variado conjunto de tareas y transformaciones integradas, herramientas para la creación de paquetes y el servicio Integration Services para ejecutar y administrar los paquetes. Las herramientas gráficas de Integration Services se pueden usar para crear soluciones sin escribir una sola línea de código. También se puede programar el amplio modelo de objetos de Integration Services para crear paquetes mediante programación y codificar tareas personalizadas y otros objetos de paquete. El SSIS Import/Export Wizard permite mover datos de origen a destino sin modificar los datos del origen y permitiendo hacer iteraciones y cambios de información antes de llegar al destino dentro de tablas de ETL. Se pueden importar datos de fuentes diferentes a SQL Server. Con la herramienta Business Intelligence Development Studio, se pueden realizar tareas de migración fácilmente usando tareas visuales. Si se desea crear nueva funcionalidad, se pueden crear scripts en c# o VB. Los paquetes, que son las unidades de almacenamiento de estas tareas de migr ación se pueden guardar en archivos dtsx o en la base de datos en formato XML.
Una vez implementado el paquete puede ser depurado.
Características SSIS Ultima Version : SQL Server 2016 Integration Services Requerimientos Técnicos:
Instalar en un equipo de 64 bits Instalar en un servidor dedicado para ETL Si requiere las características en tiempo de diseño de Integration Services, también debe instalar Business Intelligence Development Studio. Si necesita las versiones de 32 bits de las herramientas y del motor en tiempo de ejecución de Integration Services para ejecutar ciertos paquetes en modo de 32 bits, también debe instalar Business Intelligence Development Studio.
ORACLE WAREHOUSE BUILDER Es una completa herramienta para todos los aspectos de administración de datos y metadatos. Esta brinda características para asegurar l a calidad de datos, que integran el modelado relacional y multidimensional y que permiten la administración de todo el ciclo de vida de datos y metadatos.
Enterprise ETL Option La opción empresarial ETL (Enterprise ETL Option) para Warehouse Builder es una opción que puede ser adquirida con Oracle Warehouse Builder como parte de la edición empresarial del motor de base de datos (Oracle DB Enterprise Edition).
Opciones Avanzadas para Carga de Datos En grandes implementaciones, más y más procesos se ejecutan en paralelo, agotando los recursos debido a las grandes cantidades de datos que participan en la carga. Como parte de la Enterprise ETL Option, Warehouse Builder permite ejecutar cargas de datos usando métodos rápidos y eficientes tales como el Oracle Data Pump y transportable tablespaces. Esta es una aproximación completamente diferente al movimiento de datos que se realiza por medio de conjuntos de datos controlados por el motor de base de datos. Los incrementos en velocidad de carga se deben entonces a la omisión de las capas SQL tradicionales.
Soporte a Dimensiones Lentamente Cambiantes Integrado En Warehouse Builder la lógica de dimensiones lentamente cambiantes es diseñada en los metadatos de la dimensión. La dimensión captura toda la lógica que será aplicada a los datos que se insertan dentro de la misma.
Una vez, los usuarios de negocio han decidido que atributos son importantes, el modelador de datos diseña la dimensión. Con los pasos de ETL el desarrollador ve esta dimensión como cualquier otra. El siguiente paso es definir cómo efectuar los cambios y actualizaciones en la dimensión. Warehouse Builder automatiza esto basado en la definición de la dimensión. La combinación entre estos pasos, el diseño y la estandarización hacen que los procesos relacionados con dimensiones lentamente cambiantes presente un alto desempeño en su ejecución.
Traza Lineal de Principio a Fin Los servicios de administración de dependencias (Warehouse Builder Dependency Management ) le permiten prever el efecto que puedan tener los cambios que se hagan en cualquier lugar de los metadatos del sistema ETL antes de que estos puedan afectarlo y deterióralo. Por primera vez, tendrá la posibilidad de administrar los cambios de su sistema de manera proactiva. Como un ejemplo, usted puede propagar l os cambios a través de su sistema haciendo uso el Mapping Editor.
Administración de Configuraciones Avanzadas Tener que mover sistemas o aplicaciones de un ambiente a otro (por ejemplo de desarrollo a producción) es un problema frecuente. Con la Enterprise ETL Option de Warehouse Builder, es posible generar un modelo para configurar los ambientes de desarrollo, pruebas y producción a niveles separados. Para mover los cambios desde el ambiente de desarrollo a producción, el código generado en desarrollo es modificado en producción solo en áreas específicas. Por ejemplo, la información sobre las conexiones es substituida por la definida en desarrollo.
VENTAJAS, DESVENTAJAS, TIEMPOS Y COSTO DE LAS HERRAMIENTAS TÉCNICA
REQUERIMIENTO S TÉCNICOS
VENTAJAS
SQL SERVER INTEGRATION SERVICES
SQL Server Estándar
Es un sistema de gestión de base de datos. Es útil para manejar y obtener datos de la red de redes Nos permite olvidarnos de los ficheros que forman la base de datos Si se trabaja en una red social, permite agregar otros servidores de SQL Server. SQL permite administrar permisos a todo.
ORACLE WAREHOUSE BUILDER
ORACLE ESTÁNDAR
Oracle es el motor de base de datos objeto/relacional más usado a nivel mundial.
DESVENTAJA S
Utiliza la memoria RAM para las instalaciones y utilización de software. No se puede utilizar como practicas porque se prohíben varios aspectos. La relación calidad/preci o está por debajo, comparado con Oracle. Tiene varios bloqueos a nivel de página, un tamaño de página fijo y demasiado pequeño. Las versiones más recientes Oracle son la 11g, 10g, 9g, 8g desde el lanzamiento
TIEMPO 3 semanas Semana Análisis datos
1: de
Semana 2: Migración y validación de información. Semana 3: Optimizació n de proceso.
3 semanas Semana Análisis datos
1: de
Puede ejecutarse en todas las plataformas, desde una PC hasta un supercomputador . Soporta todas las funciones que se esperan de un servidor, un lenguaje de diseño de bases de datos que permite implementar diseños activos con triggers y procedimientos almacenados, con una integridad referencial declarativa muy potente. Permite el uso de particiones para la mejora de la eficiencia, incluso algunas versiones admiten la administración de bases de datos distribuidas. El software del servidor puede ejecutarse en diversos sistemas operativos. Oracle es la base de datos con más orientación hacia Internet.
SINCRONIZACIÓ N DE BASES DE DATOS.
Es
técnica utilizada procesos migración datos.
una muy en de de
original de la 8 se sucedieron varias versiones hasta alcanzar la estabilidad en la versión 8.0.3. El mayor inconveniente de Oracle es su precio, puesto que son muy costosas. Necesidad de ajustes. Un Oracle mal configurado puede ser muy lento. Elevado coste de la información en cuanto al manejo de Oracle y otros aspectos.
Semana 2: Migración y validación de información. Semana 3: Optimizació n de proceso.
Consiste en hacer que dos bases de datos sean equivalentes en el mismo tiempo. Los asistentes de sincronización de los SMBD son configurados con las bases de datos origen y la base de datos destino.
PRECIO LICENCIA SQL SERVER 2017
PRECIO LICENCIA ORACLE Ver archivo adjunto…
