Integración de Sistemas de Información
UNIVERSIDAD CARLOS III DE MADRID MASTER EN INGENIERÍA INFORMÁTICA
TRABAJO
CURSO: INTEGRACIÓN DE SISTEMAS INFORMÁTICOS INTEGRANTES: GILMERT FAUSTINO SILVERA ALARCÓN JOSÉ DIOMEDES ARISMENDI GUTIÉRREZ
MADRID 2014
ÍNDICE GENERAL
ÍNDICE GENERAL ....................................................................................................... .................. 2 C APÍTULO 1 | INTRODUCCIÓN ................................................................................................ ....... 4 1.1
RAZON DEL PROYECTO. ................................................................................. ....... 4
1.2
Limitación de la Investigación ........................................... ........................................ 4
1.3
Esquema de Proyecto .............................................................................. .................. 5
1.3.1
Abreviaturas y definiciones ................................ ................................................... 5
C APÍTULO 2 | OBJETIVO GENERAL Y ESPECÍFICOS.............................................................. ....... 6 C APÍTULO 3. DESARROLLO DE PROYECTO .................................................................................. 6 3.1
Dominio de datos. .......................................................................... ............................. 6
3.2
Transferencia de Estado Representacional (REST) .............................................. 7
3.3
Fuentes de Recolección de Datos ............................................................................ 7
3.3.1
HelpMyCash.com ............................................................ ........................................ 8
3.3.2
Rankia. ..................................................................................................................... 8
C APÍTULO 4 | DESCRIPCIÓN DE LA SOLUCIÓN ........................................................... .................. 9 4.1
.............................................................................................................. 9 Funcionalidad ..............................................................................................................
4.1.1.1
Proceso de Scraping ......................................... ......................................... ................................................... 9
4.1.2
Twitter Stream api. .......................................................... ...................................... 10
4.1.3
Tokenización Hadoop ............................... ........................................................... 11
4.2 Arquitectura ........................................................................................................... ..... 11 4.3
12 Aplicaciones y Herramientas Utilizadas: ........................................................... ..... 12
A.
12 Hadoop ...................................................................... ................................................. 12
B.
12 Java ....................................................... ................................................................. ..... 12
C.
Lenguaje de Marcas Extensibles (XML) ................................................................ 12
D.
JSON ..................................................... ..................................................... ................................................................. ..... 12
E.
Java Eclipse ....................................................................................................... ........ 13 13
F.
NetBeans ......................................................... ........................................................... 13
G.
13 Subversion (SVN) .......................................... ........................................................... 13
H.
............................................................................................................... 13 TortoiseSVN ...............................................................................................................
I.
Dropbox ..................................................................... ..................................................................... ................................................. 13
J.
Java Development kit ......................................................... ......................................................... ...................................... 14
C APÍTULO 5 | PRUEBA DE CONCEPTO ............................ ........................................................... 14 5.1
Instrucciones de ejecución ..................................... ................................................. 14 14
C APÍTULO 6 | CONCLUSIONES Y LÍNEAS FUTURAS .................................................................... 14
Capítulo 1 | Introducción Actualmente las personas y empresas necesitan recolectar información de varias fuentes para realizar un análisis de un problema de cualquier tipo, de allí surge la necesidad de una api que pueda agrupar información de varias fuentes y agruparlas de manera efectiva reduciendo considerablemente el tiempo invertido en la recolección de datos, estos ha evolucionado una grande demanda de estas aplicaciones en el mercado actual, motivado por la creciente necesidad de manipular los grandes volúmenes de información que se encuentra actualmente disponible en muchos medios accesibles para cual. Actualmente se dispone de la tecnología de diseño en programación para agrupar dichas informaciones de varias fuentes en una sola, así de esta manera mejoras los servicios y reducir el tiempo de búsquedas gracias a la integración de Sistemas de Información, el cual puede ser empleado en procesos tanto mecánicos como software.
1.1
RAZON DEL PROYECTO. Debido a la creciente demanda de necesidad de manipular y realizar de
manera efectiva el tratamiento de la información que actualmente es imposible ser manipulada de manera manual de forma óptima y en un tiempo manejable ya que el volumen de data crece de manera exponencial a cada momento haciéndolo imposible, y para las empresas resulta de vital importancia la realización de aplicaciones que faciliten dicha actividad, ha originado la aparición de programas Integracionales que vienen a solventar cada vez más esta necesidad, y tomando en cuenta en esto hemos decidido desarrollar una aplicación de este ámbito.
1.2
Limitación de la Investigación Nuestras Aplicación se origina de la necesidad de manejar temas
financieros para entornos usuarios y empresariales ya que se podrá visualizar la información económica de manera detallada y resumida de varias fuentes en una sola interfaz que a través de métodos de optimización eliminara la data redundante, para la extracción se utilizara el método Jsoup de java, y para la eliminación de redundancia el Hadoop a través de la técnica del MapReduce.
1.3
Esquema de Proyecto A Continuación se detalla los puntos a desarrollar en nuestro tema de investigación:
Capítulos 1 y 2 Introducción y Objetivos: Presentación de forma
introductoria la investigación, y determinado los objetivos planteados
Capítulo 3: Desarrollo de Proyecto: Descripción detallada de los
dominios seleccionados para los estudios, y las funciones empleadas para obtener los resultados.
Capítulo 4: DESCRIPCIÓN DE LA SOLUCIÓN: Se centra en la
extracción de tres fuentes de datos con lo cual se procederá al análisis.
Capítulo 5: PRUEBA DE CONCEPTO Se procederá a la ejecución de
los aplicativos hechos y verificación de los datos extraídos.
Capítulo 6: CONCLUSIONES Y LÍNEAS FUTURAS: Se tendrá un
perspectiva de los aspectos tocados en el presente trabajo, con lo cual se llegara a las conclusiones pertinentes.
1.3.1 Abreviaturas y definiciones A continuación se enumera términos abreviados en el proyecto y su definición:
XML: Lenguaje de Marcas extensibles
POI: Punto de Interés
Api: Interfaz de aplicación de Programación.
Json: Acrónimo de java Scrip Object Notation
Jsoup: es un parser java para HTML.
App: Aplicación Informática.
Parser: analizador sintáctico es una de las partes del compilador
HTML: Lenguaje de Marcas de Hipertexto, lenguaje de elaboración de páginas web
URL: Localizador de Recursos Uniforme.
SO: Sistema Operativo
JDK: Kit de Software de Desarrollo.
Capítulo 2 | Objetivo General Y Específicos Desarrollar una herramienta que facilite la recolección de información de varias fuentes, para analizar e integrar y así de esa manera proporcionar información detallada y simplificada de un tema específico. Teniendo como objetivos específicos:
Aprender sobre el desarrollo de aplicaciones capaces de integrar información.
Crear una referencia en cuanto ayuda de integración de información.
Capítulo 3. Desarrollo de Proyecto Para la estructuración del sistema se realizó un análisis de las necesidades en cuanto al manejo de información económica y la ayuda del mismo para el manejo de esta información, necesaria al momento de un proyecto económico. De manera esquemática se hace conocer acerca de cómo se ha representado el proyecto, los momentos en de desarrollo y cuáles serían sus posibles soluciones, así como la investigación de alguna herramienta parecida en el mercado.
3.1
Dominio de datos. En nuestro día a día el manejo de información en temas específicos es vital para el desarrollo de cualquier actividad por ello la necesidad de establecer dominios de información, lo cual es un conjunto de información de diferentes fuentes con una información o dato en común agrupadas en un solo medio, para ser manipulada de manera fácil y efectiva.
Con
los métodos virtuales esta información que podría tener mucha información redundante es eliminada y asi de esta forma se obtendrían la
información más detallada y concisa de varias fuentes, acortando tiempos de búsqueda y de análisis.
3.2
Transferencia de Estado Representacional (REST) Actualmente los sistemas de hipermedia utilizan a como técnica de arquitectura de software el REST que no es más Transferencia de Estado Representacional (Representational State Transfer), también se usa para describir cualquier interfaz web que emplea XML y HTTP, sin las contradicciones de los protocolos de intercambio de mensajes dado en el protocolo SOAP siendo una manera más fácil de representar, y más determinado a los servicios y sus recursos. Las arquitecturas rest se basan en una serie de reglas que toda aplicación que decida seguir sus lineamientos debe cumplir, entre los cuales están Arquitectura cliente servidor, estos deben estar bien independientes entre si lo cual permitirá la flexibilidad entre ellos, los Stateless que no es más que el servidor no tiene que almacenar datos del cliente para mantener un estado del mismo, Cacheable en donde el servidor debe cachear las especificaciones del cliente, Debe contar con un sistema de capas pero el cliente no debe estar forzado a saber por cual transita sino desplazarse libremente por ellas, y por ultimo contar con una interfaz uniforme para simplificar el protocolo y aumentando la escabilidad y rendimiento del mismo
3.3
Fuentes de Recolección de Datos Para La recopilación de la data de la aplicación se tomaron dos fuentes importante s en el ámbito económico financiero como es www.Rankia.com
que es una comunidad financiera y la Página www.Helpmycash.com que también recaba información de tipo financiera dada por clientes y comentada por ellos mismos. Utilizando herramientas de recopilación de información como la es jsoup de java se pudo recolectar la data necesaria o requerida que principalmente es la comentada por los usuarios de las páginas para poder analizarla por el metodo de hadoop por la técnica de mapreduce. A continuación se describirán las diversas fuentes empleadas:
3.3.1 HelpMyCash.com En esta página se engloban todas las posibles inversiones o información de tipo económica requerida desde entidades financieras tipos de inversión y otros.
3.3.2 Rankia. Esta es una Comunidad de usuarios interesados en el mundo de la finanzas, la bolsa, la banca y los brokers online en donde se valoran y opinan sobre cada producto, aquí se va a optener la informacion de usuario requerida para ser relacionada con los de la otra fuente.
3.3.3 Twitter. Twitter es una aplicación web gratuita de microblogging que reúne las ventajas de los blogs, las redes sociales y la mensajería instantánea. Esta nueva forma de comunicación, permite a sus usuarios estar en contacto
en tiempo real con personas de su interés a través de mensajes breves de texto a los que se denominan Updates (actualizaciones) o Tweets, por medio de una sencilla pregunta: ¿Qué estás haciendo?.
Capítulo 4 | Descripción de la Solución 4.1
Funcionalidad La funcionalidad de la integración, se puede decir que se ha estructurado mediante dos grandes módulos de integración, los cuales servirán de ayuda para la gestión de peticiones y muestra de resultados.
4.1.1.1
Proceso de Scraping
Screen scraping es el nombre en inglés de una técnica de programación que consiste en tomar una presentación de una información (normalmente texto, aunque puede incluir información gráfica) para, mediante ingeniería inversa, extraer los datos que dieron lugar a esa presentación.
4.1.2 Twitter Stream api. El conjunto de API de streaming que ofrece Twitter ofrece a los desarrolladores acceso de baja latencia a la corriente mundial de Twitter Tweet de datos. Una correcta aplicación de un cliente de streaming será empujado mensajes que indican Tweets y se han producido otros hechos, sin ninguna de la sobrecarga asociada a votación un punto final REST.
Ingresamos la información de interés.
Observar los comentarios obtenidos de la consulta enviada
Nos devuelve la búsqueda filtrada con la información de interés.
Search API La API de búsqueda está diseñada con el objetivo de permitir al usuario realizar consultas sobre el contenido de Twitter, esto incluye desde la búsqueda de tweets aplicando diversos filtros (búsqueda de palabras clave, tweets pertenecientes a un usuario, tweets que hagan referencia a un usuario específico, en función del idioma, en función de la ubicación, etc.). También proporciona acceso a las tendencias del momento. El contenido al que se tiene acceso mediante la API de búsqueda tiene una limitación temporal de 50 Twittes cada 15 Minutos.
4.1.3 Tokenización Hadoop Una vez extraída toda la información de los comentarios sobre un punto de interés que el usuario haya seleccionado, la aplicación de guarda en ficheros predeterminados en formato Txt, para que este sea enviado a Hadoop para su análisis.
4.2
Arquitectura El modelo –vista –controlador (MVC) es un patrón de arquitectura de software que separa los datos y la lógica de negocio de una aplicación de la interfaz de usuario y el módulo encargado de gestionar los eventos y las comunicaciones. Para ello MVC propone la construcción de tres componentes distintos que son el modelo, la vista y el controlador, es decir, por un lado define componentes para la representación de la información, y por otro lado para la interacción del usuario.1 2 Este patrón de arquitectura de software se basa en las ideas de reutilización de código y la separación de conceptos, características que buscan facilitar la tarea de desarrollo de aplicaciones y su posterior mantenimiento
4.3 Aplicaciones y Herramientas Utilizadas: A. Hadoop Es un framework de software que soporta aplicaciones distribuidas que funcionen en licencia de tipo abierta, permite trabajar con miles de nodos de petabytes de datos este fue inspirado en los documentos de google para mapreduce y (Gfs) google file system.
B. Java Este es un lenguaje de programación y una plataforma informática que es comercializada por Sun Microsystems, esta plataforma es rápida, seguro y fiable, lo cual la convierte en una opción favorita entre usuarios y programadores el cual puede ser implementado desde súper computadoras hasta teléfonos móviles, sin dejar a un lado el internet, y al ser una opción gratuita la hace la opción idónea.
C. Lenguaje de Marcas Extensibles (XML) De su siglas en ingles Extensible Markup Lenguaje, es el lenguaje de marcas de desarrollado por la World wide Web Consortium, el cual es usada para el almacenamiento de datos manera legible. Este formado es el más utilizado en cuanto se debe comunicar entre aplicaciones e integrar información.
En nuestro caso el formato de la mayoría de los
foros está diseñado bajo estar reglas lo cual representa nuestra principal vía de extracción de información ya que los datos son etiquetados para su manejo y distribución.
D. JSON Este es el acrónimo de JavaScript Object, el cual constituye un formato ligero que se utiliza en el intercambio de datos, el cual está compuesto por un subconjunto de notaciones de los objetos del JavaScript que hace no necesario el uso del formato XML. Una de las ventajas de este sobre XML es que su lenguaje de intercambio de datos es mucho más fácil de programar un analizador sintáctico de JSON.
E. Java Eclipse Es un sistema de programación con una serie de herramientas de código abierto multiplataforma, que se utiliza para desarrollar aplicaciones de cliente enriquecido opuesto a las aplicaciones de cliente liviano basadas en navegadores.
F. NetBeans Es un ambiente de desarrollo libre, realizado principalmente para el lenguaje de programación de java, este proyecto tiene un gran éxito teniendo una gran cantidad de usuarios formando una comunidad de crecimiento sostenido. Esta plataforma permite que las aplicaciones sean desarrolladas bajo un conjunto de módulos y cada módulo es un archivo java el cual contiene clases javas, desarrolladas para interactuar con las apis de netbeans y un archivo especial que identificado como modulo.
G. Subversion (SVN) Es una herramienta de control de versiones de lenguaje abierto basados en un deposito centralizado de información en forma de un sistema de ficheros, trabaja en licencia libre de tipo Apache/BSD.
H. TortoiseSVN Este es un cliente Subversión, el cual es usado como extensión de Shell de Windows, este es un software libre de fuente abierta que trabaja bajo la licencia GNU GPL. Con este se consigue la integración de comandos de Windows, utilizado habitualmente en el mundo de la programación, estando disponible en 28 idiomas diferentes, y se encarga del manejo de la muestra de diferencias entre documentos de office como los creados en Word.
I. Dropbox Es un sistema de almacenamiento online con sincronización cuya principal característica es su explorador de archivos, por medio el cual podemos acceder a nuestros ficheros almacenados en el servidor de dropbox como si fuera una unidad más de nuestro computador.
Siendo la herramienta principal para almacenar y compartir la información necesaria para el desarrollo del proyecto.
J. Java Development kit Es el software que está provisto de la herramienta de programación o desarrollo para el diseño de aplicaciones en Java, pueden funcionar de forma local o remota. Este kit proporciona un conjunto de librerías que permiten la interactuación del código generado para nuestra aplicación con el sistema operativo, para la cual fue Utilizada en su última versión.
Capítulo 5 | Prueba de Concepto 5.1
Instrucciones de ejecución Para la ejecución del sistema de integración de datos, y verlo en detalle la funcionalidad, se realizó un pequeño manual de la máquina virtual a entregar con todos los procesos a utilizar; en el anexo de este documento.
Capítulo 6 | Conclusiones y Líneas Futuras Cada día se genera información de todos los tipos, y estas son almacenadas utilizando recurso informáticos, pero llegamos a la gran pregunta, si se tiene la gran diversidad de información estas son utilizadas y procesadas, con qué fin y para qué; ya vimos a los largo de este documento herramientas para poder extraer y a su vez procesarlas, para una toma de decisiones correctas, claro estás de acuerdo al objetivo de nuestra extracción. La utilización de Hadoop es una herramienta la cual nos permite hacer un MapReduce, y procesarla toda la información en un tiempo reducido; esta nos da una gran ventaja ya que se procesa una gran información en un tempo pequeño.
Anexo MANUAL DE USUARIO
1. Iniciación de la Máquina virtual: Para iniciar la máquina virtual con el sistema Ubuntu 14.01
Paso Nª 2: Clic en Iniciar
Paso Nª 1: Seleccionar la Maquina Virtual a Ejecutar:
2. Iniciar con el Usuario HDUSER.
Paso Nª 3: Seleccionar el usuario HDUSER, ingresar la clave: softsil
3. Ejecutar el Programa NetsBeans.
Paso Nª 4: Seleccionar el programa NetsBeans y hacemos clic sobre el icono.
4. Iniciar el APLICATIVO:
Paso Nª 6: Hacer Clic en el botón ejecutar
Paso Nª 5: Seleccionar la clase Main con
5. Uso del aplicativo.
Nota: el paso 9 y 10 se puede hacer las veces que Ud. Cree conveniente para extraer mas Twitts, salo tendrá que cambien el tema para que no repita los twitts Paso Nª9: Ingresar el tema a extraer de Twitter
Paso Nª 7: Hacer Clic en el botón, para extraer datos de la primera fuente, y esperar a que nos muestre el resultado
Paso Nª8: Hacer Clic en el botón, para extraer datos de la segunda fuente, y esperar a que nos muestre el resultado
Paso Nª10: Hacer clic en el botón, para hacer la consulta a twitter, esperar a que nos muestre los resultados
Paso Nª11: clic en el botopn para: una vez extraída la información necesaria para el procesamiento en Hadoop, se procede a ingresarlos en el fichero que hadoop utilizará para el MApReduce.
6. Ejecutar Hadoop. Abrir terminal.
Paso Nª12: Para iniciar Hadoop escribir el siguiente comando (start-all.sh)
Paso Nª13: Una vez iniciado Hadoop ingresar los comando siguientes: (cd /usr/local) y presionar enter. YA ubicados en la carpeta local ingresar el siguiente comando: (hadoop jar /home/hduser/workspace/hadoopdistributed.jar input output). Y presionar enter
Paso Nª11: clic en el icono para lanzar un terminal.
7. Visualización de datos MapReduce: Ingresar a la carpeta Output.
Paso Nª14: clic en el icono y navegar al siguiente directorio: Carpeta Personal; workspace, Instegracion-UC3M, output, output. Y ejecutar el archivo part.
