Cómo Crear Un Clúster de Servidores Con Apache Spark

28/1/2017

Cóm o cr ear un cl úster de ser vi dor es con Apache Spar k







 (whatsapp:/ whatsapp://sen (https://tw (https://twitter. /send? d?itter.com/intent/tweet? com/intent/tweet? (https://telegram.me/share/url? (https://telegram.me/sha re/url?

text=Cómo text=Cómo text=Cómo

url=Cómo (mailto:?

crear crear

crear subject=Cómo

un

un

un

clúster clúster de

clúster un

de

de

servidores servidores servidores con

crear

servidores de

con

con

ApacheApache 

clúster



servidores

Apache con

Spark Spark (https://www.facebook.com/shar (https://www.face (https://plus.google.com/share? Spark book.com/sharer/sharer.php? Apache er/sharer.php? https://geekytheory.com/comohttps://geekytheory.com/comou=https://geekytheory.com/comourl=https://geekytheory.com/comohttps://geekytheory.com/comoSpark&body=https://geekytheory.com/c crear- crear- crear- crear- crear- crearun-

un-

un-

un-

un-

un-

cluster-cluster-cluster-cluster-cluster-clusterde-

de-

de-

de-

de-

de-

servidoresservidoresservidoresservidoresservidoresservidorescon-

con-

con-

con-

con-

con-

apacheapache-apache-apache-apache-apachespark) spark) spark) spark) spark) spark)

https://geekytheor y.com /com o- cr ear - un- cl uster - de- ser vi dor es- con- apache- spar k

1/15

28/1/2017

Cómo crear un clúster de servidores con Apache Spark

P O R M A R I O P É R E Z E S T E S O ( H T T P S : // G E E K Y T H E O R Y . C O M / U S E R / M A R I O ) E N A P A C H E S P A R K (/CATEGORY/APACHE-SPARK) , TUTORIAL ES (/CATEGORY/TUTOR IALES)

CÓMO CREAR UN CLÚSTER DE SERVIDORES CON APACHE SPARK Apache Spark tiene un potencial impresionante. Como ya dije en el artículo de introducción

a

Spark

(http://geekytheory.com/apache-spark-que-es-y-como-

funciona/), es una herramienta muy utilizada actualmente en Big Data y machine learning y que a lo largo de estos años será mejorada. En este tutorial vamos a aprender a montar un clúster de servidores con Apache Spark con el …n de sacar partido a su potencial de computación distribuida.

¿Qué es un cluster? Un cluster es un sistema basado en la unión de varios servidores que trabajarán de forma paralela como si de uno solo se tratara, es decir, tenemos un servidor formado por otros servidores. Podemos tener un cluster de 2, 10, 20 ó 100 servidores. Cuantos más servidores tengamos, más potencia de hardware estará disponible. Gracias a que Apache Spark hace un uso e…ciente de las máquinas que formen un cluster, el sistema será escalable y realizará un correcto balanceo de carga.

Creación del cluster Para crear un cluster podemos hacer uso de servidores reales o máquinas virtuales en local. Debido a que no tengo servidores disponibles para este …n y tampoco quiero alquilarlos, voy a hacerlo con máquinas virtuales, por lo que utilizaré: https://geekytheory.com/como-crear-un-cluster-de-servidores-con-apache-spark

2/15

28/1/2017


Herramienta de virtualización: VMware. Podéis ver cómo instalarlo en este tutorial (https://geekytheory.com/como-instalar-vmware-en-ubuntu-y-derivados/). Si no queréis usar VMware, también podéis hacerlo con VirtualBox, que funciona igualmente. Sistema operativo: Ubuntu 14.04. Podéis ver cómo instalarlo en este tutorial (https://geekytheory.com/tutorial-linux-como-instalar-ubuntu-o-derivados/).

Crear un cluster de servidores en local con máquinas virtuales no tiene sentido porque se pierde rendimiento, pero como el objetivo es aprender, no hay problema en este caso.

Requisitos Crear un cluster de servidores Apache Spark es muy parecido a como se crearía un único servidor de Spark. Lo único que hay que hacer para añadir máquinas es poner sus direcciones IP en un archivo de con…guración. Sin embargo, hay que tener un determinado software instalado: Java: se puede utilizar tanto la versión 7 como la 8. Scala: se instalará la última versión. Acceso remoto por SSH entre máquinas. Apache Spark pre-compilado para Hadoop. Arquitectura de un cluster de Apache Spark

En la arquitectura

de un cluster montado con Apache Spark se puede observar que existen distintos agentes. El primero de ellos es el controlador. Tras esto, encontramos el cluster manager y …nalmente los workers. De una manera muy resumida, el manager hace las veces de maestro y el worker de esclavo. Conviene conocer algunos términos: Aplicación: programa desarrollado sobre Spark por un programador. https://geekytheory.com/como-crear-un-cluster-de-servidores-con-apache-spark

3/15

28/1/2017


Controlador del programa (driver program): es el proceso que ejecuta la función

de la aplicación.

Cluster manager : servicio externo utilizado para gestionar los recursos de los workers. Worker: nodo (servidor) que puede ejecutar código Spark. Task: operaciones (tareas) a realizar por un worker. Máquinas virtuales Todas las máquinas virtuales deben tener software en común, que es el que he mencionado antes: Java, Scala y Spark. Al tener Ubuntu recién instalado, habrá que con…gurar el sistema para tener el software disponible. Sin embargo, no queremos con…gurarlo todo cada vez para cada máquina, por lo que haremos uso de la función de clonado de VMware para con…gurar un único servidor y luego clonarlo. Paso 1

El primer paso es crear la máquina Ubuntu. Yo la llamaré spark-master, para saber en qué máquina estoy trabajando. He dejado toda la con…guración por defecto excepto la memoria RAM, que le he puesto 2GB. Cada uno que ponga lo que su ordenador le deje.

Cuando ya se haya instalado el sistema operativo por completo, veremos algo parecido a lo

https://geekytheory.com/como-crear-un-cluster-de-servidores-con-apache-spark

4/15

28/1/2017


siguiente:

Los pasos que vienen a continuación se harán en la máquina ubuntu-spark-master.

Paso 2

En este paso se instalará Java. Vale tanto la versión openJDK como la de Oracle. En este caso se va a instalar Java 8 de Oracle. Para ello, hay que introducir los comandos que se mostrarán a continuación. Antes de nada, conviene actualizar el sistema: sudo apt‐get update sudo apt‐get upgrade ‐y

Tras el paso anterior, se procede a instalar Java: sudo apt‐add‐repository ppa:webupd8team/java sudo apt‐get update sudo apt‐get install oracle‐java8‐installer

Si todo va bien, deberíamos tener el siguiente resultado al comprobar la versión instalada: $ java ‐version java version "1.8.0_45"

Paso 3 https://geekytheory.com/como-crear-un-cluster-de-servidores-con-apache-spark

5/15

28/1/2017


Este tercer paso va a consistir en instalar Scala. No lo voy a explicar de nuevo porque ya hice un tutorial de instalación, por lo que os dejo el enlace con las instrucciones (http://geekytheory.com/curso-scala-parte-2-instalacion/).

Paso 4

Para comenzar con el cuarto paso apagamos la máquina virtual, ya que no se pueden clonar máquinas si la de origen está encendida. Una vez esté apagada, click con el botón derecho en el nombre de la máquina y dentro de "Manage", seleccionar "clonar".


6/15

28/1/2017


El tipo de clonación va a ser "linked" o "enlazada" y el nombre de la nueva máquina virtual: ubuntu-spark-worker-node. Paso 5

En este paso vamos a obtener las direcciones IP de ambas máquinas porque van a ser necesarias durante el proceso. De esta manera, las dejamos apuntadas para el tutorial y no tenemos que estar siempre comprobándolas con ifcon…g: ubuntu-spark-master: 192.168.107.128 ubuntu-spark-worker-node: 192.168.107.129 Paso 6

Apache Spark necesita acceder por SSH a las máquinas, pero sin contraseña, por lo que tendremos que crear una clave para permitirle establecer la conexión. En la https://geekytheory.com/como-crear-un-cluster-de-servidores-con-apache-spark

7/15

28/1/2017


máquina ubuntu-spark-worker-node se introduce este comando: sudo apt‐get install openssh‐server

En la máquina ubuntu-spark-master generamos una clave RSA para el acceso remoto a los workers: ssh‐keygen

Para tener acceso a los workers sin contraseña, la clave RSA generada en el master debe ser copiada en cada uno de los workers. Por lo tanto, en la máquina ubuntu-spark-master se ejecuta el siguiente comando: ssh‐copy‐id ‐i ~/.ssh/id_rsa.pub [email protected] ssh‐copy‐id ‐i ~/.ssh/id_rsa.pub [email protected] ssh‐copy‐id ‐i ~/.ssh/id_rsa.pub [email protected]

Teniendo en cuenta lo anterior y sabiendo que únicamente hay un worker y su dirección IP es 192.168.107.129 con nombre de usuario mario, en ubuntu-spark-master se introduce el siguiente comando: ssh‐copy‐id ‐i ~/.ssh/id_rsa.pub [email protected]

Paso 7

En este paso se va a descargar Apache Spark desde su página web (https://spark.apache.org/downloads.html). A día de hoy, la versión más reciente es la 1.4.0 y se va a descargar el paquete pre-compilado para Apache Hadoop 2.6 y posteriores. Al estar pre-compilado el proceso será más rápido. La descarga de Apache Spark hay que realizarla en todas las máquinas; tanto master como workers.

Una vez

descargado, se descomprime en la carpeta /home/usuario, quedando en mi caso en la ruta /home/mario/spark-1.4.0-bin-hadoop2.6. Para probar que todo funciona https://geekytheory.com/como-crear-un-cluster-de-servidores-con-apache-spark

8/15

28/1/2017


correctamente, dentro de la carpeta bin ejecutamos el comando ./spark-shell y tendremos como resultado una consola de Spark. Paso 8

El octavo paso consiste en la con…guración de Apache Spark, en la que indicaremos quién es el nodo master y quiénes son los workers. Con…guración de los esclavos. Abrimos la carpeta de Spark en ubuntu-spark-master. Dentro de la carpeta conf hay un archivo llamado slaves.template, el cual vamos a renombrar a slaves. Este archivo contiene las direcciones IP de los nodos esclavos (workers), por lo que comentamos todas las líneas con '#' y añadimos la IP de nuestro ubuntu-spark-node-worker para que …nalmente quede así: # A Spark Worker will be started on each of the machines listed below. # localhost 192.168.107.129

Copiamos este archivo en la misma ruta del ubuntu-spark-node-worker. Con…guración del entorno Apache Spark. Abrimos la carpeta de Spark en ubuntu-spark-master. Dentro de la carpeta conf hay un archivo llamado spark-env.sh.template, el cual vamos a renombrar a sparkenv.sh. Añadiremos las siguientes líneas de con…guración: export export export export

SPARK_MASTER_IP= IP.UBUNTU.SPARK.MASTER # En mi caso es la 192.168.107.128 SPARK_WORKER_CORES=1 # Número de cores que se ejecutan en la máquina SPARK_WORKER_MEMORY=800m # Memoria total que un worker tiene disponible SPARK_WORKER_INSTANCES=2 # Número de procesos worker por cada nodo

Igual que con el archivo slaves, copiamos este archivo a todos los nodos dentro de la misma ruta. En este caso a ubuntu-spark-node-worker. Paso 9

En este último paso haremos una prueba de funcionamiento para ver que todo está con…gurado correctamente. Para ello, ejecutaremos algunas operaciones. Paso 9.1: Probar la versión local Dentro de la carpeta bin se ejecuta el siguiente comando para calcular el número Pi con Spark: ./run‐example SparkPi

Si todo va bien, debe mostrar por pantalla el valor de Pi. https://geekytheory.com/como-crear-un-cluster-de-servidores-con-apache-spark

9/15

28/1/2017


Paso 9.2: Probar el cluster Dentro de la carpeta sbin tenemos varios ejecutables: Comando para iniciar el cluster: ./start-all.sh Comando para detener el cluster: ./stop-all.sh Tras iniciar el cluster, navegamos desde spark-node-master a localhost:8080 para ver el panel web, en el que deberíamos encontrar dos nodos worker:

En el ejemplo de antes se ha calculado el número Pi en una única máquina (apache-sparkmaster), pero ahora queremos lanzar ese cálculo a los workers del cluster. Para ello, utilizamos el siguiente comando dentro de la carpeta bin: MASTER=spark://IP.UBUNTU.SPARK.MASTER:7077 ./run-example SparkPi En mi caso, sería: MASTER=spark://192.168.107.128:7077 ./run‐example SparkPi

Como resultado, es posible observar en el panel web que se está ejecutando una aplicación en el cluster:


10/15

28/1/2017


Si mientras se ejecuta el programa véis el comando top (http://geekytheory.com/funcionamiento-del-comando-top-en-linux/) en la máquina ubuntu-spark-worker-node, podréis observar que se están ejecutando dos procesos java, que se corresponden con Apache Spark. Espero que os haya servido el tutorial. ¡Saludos!

apache

distribución

máquin a virtu al

spark

cluster

servidores

local

escalabilidad


11/15

28/1/2017








 (whatsapp://send? (https://twitter.com/intent/tweet? (https://telegram.me/share/url?

text=Cómo text=Cómo

url=Cómo (mailto:?

crear crear

crear subject=Cómo

un

un

un

clúster clúster de

clúster un

de

de

servidores servidores con

crear

servidores de

con

con

ApacheApache 

clúster



servidores

Apache con

Spark Spark (https://www.facebook.com/sharer/sharer.php? (https://plus.google.com/share? Spark Apache https://geekytheory.com/comohttps://geekytheory.com/comou=https://geekytheory.com/comourl=https://geekytheory.com/comohttps://geekytheory.com/comoSpark&body=https://geekytheory.com crear- crear- crear- crear- crear- crearun-

un-

un-

un-

un-

un-

cluster-cluster-cluster-cluster-cluster-clusterde-

de-

de-

de-

de-

de-

servidoresservidoresservidoresservidoresservidoresservidorescon-

con-

con-

con-

con-

con-

apacheapache-apache-apache-apache-apachespark) spark) spark) spark) spark) spark)

AUTOR

MARIO PÉREZ ESTESO

Ingeniero de Telecomunicación apasionado de la programación y el conocimiento libre. Me gusta compartir las cosas que hago y rodearme de gente que haga lo mismo. Siempre aprendiendo.


12/15

28/1/2017






(https://twitter.com/_mario_perez) (https://github.com/marioperezesteso)

2 COMENTARIOS

SANTI · HACE 1 AÑO

Hola tengo un problema, con…guro la clave ssh para el worker pero caundo arranco el spark en el master(./start-all.sh) me pide contraseña para santiago@IP_DEL_WORKER pero el usuario del worker es "administrador", ¿sabes que puede ser? un saludo

RESPONDER SANTI · HACE 1 AÑO

Que buena info! gracias.

RESPONDER

DEJA UN COMENTARIO

Nombre

E-mail

Sitio web

PUBLICAR COMENTARIO https://geekytheory.com/como-crear-un-cluster-de-servidores-con-apache-spark

13/15

28/1/2017


T W I T T E R ( H T T P S : // T W I T T E R . C O M / G E E K Y T H E O R Y ) FA C E B O O K ( H T T P S : // FA C E B O O K . C O M / G E E K Y T H E O R Y ) G I T H U B ( H T T P S : // G I T H U B . C O M / G E E K Y T H E O R Y ) G O O G L E P L U S ( H T T P S : // P L U S . G O O G L E . C O M / 1 0 1 4 3 3 6 7 4 1 6 8 1 6 5 1 6 0 4 4 6 / )

Hecho con  por Geeky Theory (http://geekytheory.com)  Somos open source (https://github.com/MarioPerezEsteso/laraweb)


14/15

28/1/2017



15/15

Cómo Crear Un Clúster de Servidores Con Apache Spark

Recommend Documents