Especifc Especifcacion aciones es Técnicas écnicas para un Data Center DuocUC Integrantes: Hernán Leiva. Pablo Valenuela !o"as. #$%&'%(&#'
INDICES Contenido I)DICE*........................................................................................................................................... # #.% Intro+ucci,n............................................................................................................................... ( (%Especifcaciones para el +ise-o aruitect,nico +e un +atacenter............................................./ (.# )or0as para construir un +atacenter................................................................................ / (.( 1rea +e construcci,n +e +atacenter................................................................................... / (./ 2ltura +e +atacenter........................................................................................................... 3 (.3 Lugar +e instalaci,n para +atacenter................................................................................. 3 (.' Puerta +e +atacenter.......................................................................................................... 3 (.4 Piso +e +atacenter.............................................................................................................. 3 (.5 Consi+eraciones 6enerales................................................................................................. 3 /.% Tipo +e +atacenter a construir................................................................................................... ' 3.% Euipa0iento in7or0ático a instalar8 presente 9 7uturo.............................................................' '.% Cálculo +e re7rigeraci,n............................................................................................................. 4 4.% Cálculo +e potencia reueri+a................................................................................................... $ 5.% Conectivi+a+.............................................................................................................................. $.% La9out 9 espacios reueri+os..................................................................................................... .% Elecci,n +el Lugar.................................................................................................................... #& #&.% *iste0as +e control 9 seguri+a+............................................................................................ ## ##.% Valoriaci,n +el Pro9ecto 9 Presupuesto................................................................................ ## #(.% Con7ecci,n +el Pro9ecto ;inal +e Construcci,n...................................................................... ## #/.% Conclusi,n:............................................................................................................................ #(
#
#.- Introducción Para la construcción de un datacenter el primer hito es fundamental en una buena planificación, que incluye un sin número de actividades que confluyen en la obtención de un proyecto de construcción. El armado del proyecto es válido para un diseño nuevo o una remodelación, no importa su tamaño ni el nivel de disponibilidad de servicios que se le quiera dar al proyecto (Tier! el secreto del "#ito está en prever cada una de las tareas e inversiones que se realicen. Por más que hoy no se pretenda obtener una certificación del $atacenter, es fundamental que su diseño se base en las normas nacionales e internacionales de construcción como T%&, E%&, 'P&, )*+-, o/*, &*/&E, 'P&, &'*%, %&0, %E-, %EEE, -E'E1E-, &E&, %-E&, )ptime %nstitute y %-*%. -omo conse2o final para este primer 3tem de planificación y proyecto es recomendable que sea reali4ado por especialistas, que su tarea diaria sea la de construir datacenter, ya que estarán familiari4ados con la aplicación de las normas y ase5urarán el "#ito del proyecto.
(
2-Especifcaciones para el diseño arquitectónico de un datacenter. 2.1 Normas para construir un datacenter Este documento T"cnico está basado en las si5uientes normas internacionales6
a) EIA/TIA-568B
Estándar de cableado para telecomunicaciones en edificios comerciales, requerimientos 5enerales. b) ANSI/TIA/EIA-942
Estándares de Telecomunicaciones para infraestructura de -entro de $atos c) EIA/TIA 606
Estándar de administración para la infraestructura de telecomunicaciones en edificios comerciales.
2.2 Área de construcción de datacenter $e acuerdo a la norma E%&7T%&89:; El espacio m3nimo para un cuarto de comunicaciones no puede ser menor a <= metros cuadrado y se re5irá por la si5uiente tabla6 Estaciones de traba2o >rea m? =@< a ;@@ A= ;@< a
2.3 ltura de datacenter 1a altura libre m3nima del cuarto deberá ser de ?.= metros sin obstrucciones. *e recomienda que en lo posible la altura entre el techo y el piso no deberá ser menor a B metros ya que por lo común en el data center se instala en piso falso y por el techo corren escalerillas
2.! "u#ar de instalación para datacenter &ntes de ubicar el data -enter se deberá tener en cuenta las si5uientes consideraciones6 a 1e2os de instalaciones hidrosanitarias ya que puede haber filtraciones de a5ua. b uera de lu5ares que puedan ser inundados. c 'unca cerca de cuarto de máquinas, 5eneradores, transformadores, motores, rayos #, antenas, etc. d $e preferencia el data center se ubicara en un lu5ar central a las estaciones de traba2o. e *e debe evitar lu5ares que limiten una posible e#pansión como ascensores, columnas, muros, etc.
2.$ %uerta de datacenter 1a puerta deberá ser de un ancho m3nimo de < metro y altura de ? metros libres sin marco ya que esto permite la entrada de equipos como )P*, racs, etc. 1a puerta del cuarto de comunicaciones se deberá abrir siempre hacia fuera.
2.& %iso de datacenter El piso deberá ser de un material con propiedades antiestáticas como baldosas, metal por nin5ún motivo alfombras ni madera. 1a capacidad de car5a del piso deberá ser la suficiente para a5uantar más de?.9 toneladas el metro cuadrado esto es el piso debe soportar una presión m3nima de =.; Pa.
2.' Consideraciones (enerales $e preferencia se debe diseñar los cuartos de comunicaciones con mamposter3a y sin 5randes ventanas. 3
3.- )ipo de datacenter a construir. &qu3 tomaremos como base la norma &'*%7T%&8G=? que divide a los datacenter en = Tiers. Esta norma es muy completa y establece las caracter3sticas y niveles de redundancia que deben poseer cada uno de los Tier en aspectos fundamentales como aspectos el"ctricos, termo mecánico, edilicio, cableado y comunicaciones entre otros. En esta etapa, debemos determinar a qu" nivel de redundancia pretendemos llevar el centro de datos y cuánto tiempo de inactividad estamos dispuestos a tolerar. )n punto fundamental para decidir el nivel del datacenter es cuánto representa en t"rminos económicos para el ne5ocio una ca3da del procesamiento! dicho número nos ayudará a establecer el nivel de inversión y redundancia a proyectar.
!.- Equipamiento in*orm+tico a instalar, presente *uturo. En esta etapa, debemos tener muy en claro cuáles serán los equipos que se instalarán dentro del datacenter, entre servidores, stora5e, librer3as de bacup, sHitches de core, etc. Es un error muy común calcular el consumo el"ctrico sumando directamente lo que marca el manual de cada equipo e indica el fabricante, por lo 5eneral "stas indicaciones corresponden a la má#ima confi5uración y car5a del equipo en sus picos de arranque y en situaciones de e#trema e#i5encia, si solo tomamos esto para dimensionar el consumo el"ctrico se5uramente sobredimensionemos la potencia. El paso correcto ser3a poder medir el consumo el"ctrico directamente con una pin4a amperom"trica en cada rac u obtener este dato si tenemos instalados medidores de consumos en los tableros o en las unidades de distribución de ener53a individuales que permitan obtener el consumo real. Para las proyecciones de los nuevos racs en donde no tenemos claro que equipos instalaremos estamos en la actualidad calculando un consumo entre 9CH y ACH. 1o importante de este punto es armar un sistema de ener53a que sea escalable y fle#ible, que si en poco tiempo instalamos un rac en donde el consumo real est" en <@CH y nosotros previmos ACH, rápidamente podamos adaptar la instalación sin necesidad de costosas modificaciones o desechando las obras que se hicieron en el pasado y haciendo todo de nuevo.
'
$istribución del consumo de ener53a en el data center.
$.- C+lculo de re*ri#eración. En la actualidad, esta etapa es uno de los pasos más comple2os y delicados de diseñar. Equipos con elevados consumos de ener53a, 5ran disipación de calor, horas pico de procesamiento y dificultades de instalación de los sistemas termo mecánicos son al5unos de los desaf3os con los que nos cru4amos durante el diseño. Tenemos diversas topolo53as para refri5erar un centro de cómputos, dentro de las cuales se destacan los sistemas de refri5eración perimetral que inyectan aire por deba2o del piso t"cnico, los de refri5eración por hilera que e#traen el calor de los pasillos calientes e inyectan frio por delante de los racs, los de enfriamiento por rac que inyectan el aire frio desde la parte superior del rac, o los sistemas que simplemente prev"n la inyección de aire frio en toda la sala. 1o importante es poder armar un sistema fle#ible y escalable que permita refri5erar las necesidades actuales y soportar las posibles e#i5encias a futuro. $eberemos tambi"n establecer el nivel de redundancia deseado, si será a5re5ando equipamiento de bacup para la inyección de aire ba2o piso, o lo5rando una redundancia 'F< en las filas más cr3ticas del datacenter si optamos por una refri5eración por hilera.
4
El mayor conse2o que podemos dar es el de armar distintas 4onas dentro del data center, ya sea que armemos un centro de datos con varias hileras o por el contrario en una sola fila, deber3amos prever 4onas para alta densidad donde podamos instalar un consumos de ACH o superiores y otras con ?CH o BCH de consumo por rac, como por e2emplo para comunicaciones. 1os sistemas de refri5eración son los que se llevan la mayor parte del consumo el"ctrico de un data center, como se ve en el 5ráfico <, diversos estudios afirman que el B;I del consumo el"ctrico del data center es consumido por el sistema de refri5eración, basándonos en este dato resulta relevante el tipo de tecnolo53a que seleccionemos para refri5erar, ya que nos encontramos frente al principal 3tem en donde podemos reali4ar la optimi4ación del ahorra de ener53a. )na ve4 seleccionada la topolo53a de refri5eración debemos ele5ir con que tecnolo53a refri5eraremos, hay varios m"todos, hoy aqu3 solo mencionaremos el de e#pansión directa y el de chilled Hater, que son los más aplicables a nuestro mercado latinoamericano.
Sistema de agua enfriada
$e ambas alternativas, la más utili4ada en la actualidad es la de e#pansión directa que presenta venta2as de instalación con respecto al sistema de chilled Hater. 1a decisión de elección de un sistema u otro dependerá mucho de la proyección de crecimiento del consumo de ener53a, para los centros de datos con consumos de ener53a elevados es recomendable la instalación de sistemas de chilled Hater, ya que en el tiempo termina siendo más eficiente y económica la refri5eración por a5ua helada. &qu3 deberemos vencer el mito de Ja5ua en el data centerK, que lo5rando instalaciones profesionales, se5uras y bien diseñadas no deber3a 5enerar nin5ún inconveniente adicional la adopción de este sistema. Por último, debemos ase5urarnos que los sistemas de refri5eración contemplen un control permanente de la temperatura y humedad del ambiente y ten5an incorporado ventiladores de velocidad variable que inyecten frio y flu2o de aire de acuerdo a las necesidades que 5
se plantean a lo lar5o del d3a. Este m"todo nos permitirá optimi4ar el consumo de ener53a.
Mapa térmico de un centro de datos
&.- C+lculo de potencia requerida. $efinidos los principales componentes, como el sistema de refri5eración y la potencia deseada por rac, procedemos a calcular el resto de los consumos del centro de cómputos. -abe aclarar que, al asi5nar un consumo por rac, aqu3 están incluidos los consumos de servers, stora5e y comunicaciones. 'os quedar3a dimensionar iluminación, refri5eración de confort, sistemas de e#tracción de aire, bombas de e#tracción de a5ua si las hubiera o sistemas de detección y e#tinción de incendios. &qu3 estimaremos la potencia total de la )P*, que como venimos destacando no es necesario que al inicio instalamos la potencia total requerida en los pró#imos 9 o <@ años, sino que de acuerdo al plan de crecimiento e inversiones lo ideal ser3a armar un sistema modular y escalable que vaya creciendo a medida que lo hace el ne5ocio. Es fundamental establecer el nivel de redundancia el"ctrica requerido, podremos pensar en sistemas ', 'F< o ?'F<, con esta definición terminaremos de diseñar el sistema el"ctrico, podrá implicar que lle5uemos a alimentar cada rac con doble acometida el"ctrica de distintos tableros y distintas )P*, o un sistema más simple con una sola alimentación y una )P*, aunque esta última opción elevará la probabilidad de fallas del sistema. )na ve4 establecida la potencia total requerida debemos cote2ar la disponibilidad de la misma, ya sea dentro del edificio en el cual se empla4ará el datacenter o la disponibilidad directa de la compañ3a el"ctrica en el caso de mayores consumos. Por último el sistema de ener53a deberá prever la instalación de un 5rupo 5enerador que actúe en los casos que
$
1a compañ3a el"ctrica interrumpa el servicio, el mismo deberá posibilitar que el <@@I del data center pueda funcionar y ser abastecido por el 5enerador. 1a norma T%&G=? establece para los data center Tier = que la 5eneración de emer5encia debe ser concebida con la instalación de ? 5rupos 5eneradores que cada uno por si solo pueda abastecer en <@@I de la potencia requerida.
'.- Conectiidad. %ndependientemente del tamaño del centro de datos debemos pensar como estarán conectados e inte5rados a la red los servidores, stora5e o cualquier dispositivo que instalaremos en cada rac. E#iste la posibilidad de instalar y de2ar previsto en los racs una cantidad determinada de cables de cobre y7o fibras que confluyan todos al área de comunicaciones del data center, en la cual se encontrarán instalados los sHitches que nos proveerán de conectividad. El sistema opuesto al descripto anteriormente prev" la instalación de sHitches individuales por rac y "stos conectados por fibra o cobre al sHitch principal. 1a elección de una u otra topolo53a dependerá del tipo y cantidad de dispositivos que instalemos, requerimientos en cuanto a velocidad, performance y caracter3sticas de crecimiento.
/.- "aout espacios requeridos. -on todas las definiciones y premisas que hemos establecido en los puntos anteriores, estamos en condiciones de establecer el layout del centro de datos con los espacios y salas que necesitaremos. *i aspiramos estrictamente a cumplir con las normas deber3amos pensar en armar un espacio e#clusivo para el alo2amiento de los racs de servidores, un espacio diferente para los de comunicaciones, otro para la sala de )P*, uno para la sala de tableros, un espacio previo a la sala de servidores para el desembala2e y preparación de equipos, sala para el in5reso de los carriers de comunicaciones, y una sala de operadores y monitoreo. *i nos adaptamos a un mercado latinoamericano donde los espacios son más reducidos y a proyectos de menor enver5adura podemos unificar en un mismo espacio los racs de servidores y comunicaciones, y en al5unos casos las )P* pueden tambi"n instalarse dentro de la fila de racs. En otra alternativa las )P* y sala de tableros pueden instalarse en un mismo espacio, permitiendo concentrar as3 todo lo referente a ener53a en la misma sala. -on respecto a la distribución de la sala de servidores, es de suma importancia establecer el concepto de pasillos fr3os y calientes, de esta forma se evita las me4clas de los distintos aires, (fr3os y calientes, permitiendo una me2or refri5eración y eficiencia.
Layout de un centro de datos
0.- Elección del "u#ar. Establecidas las medidas m3nimas requeridas, debemos seleccionar el lu5ar de empla4amiento que dependerá del nivel seleccionado. 1a norma &'*%7T%&8G=?, por e2emplo, establece para un Tier= la utili4ación de un edificio en forma e#clusiva destinado al datacenter. *i pensamos en un Tier? o TierB, se establecen distintas normas de se5uridad y requerimientos que pueden ser cumplimentadas en edificios pre#istentes. -uando nos encontramos frente a la remodelación de un centro de cómputos ya e#istente y en funcionamiento, debemos evaluar seriamente si es mas conveniente la construcción de una sala nueva en un lu5ar diferente, ya que en las remodelaciones se deberá traba2ar, por lo 5eneral sin interrumpir las operaciones, con muy poca JventanaK de corte de ener53a, y con el ries5o de provocar al5una interrupción involuntaria del servicio durante la obra. Esta ecuación muchas veces nos orienta al armado de un nuevo datacenter y la posterior mi5ración de los equipos de procesamiento. Es fundamental acercarnos a cumplir con los
1.- Sistemas de control se#uridad.
#&
Para res5uardar el valor patrimonial y, aún más importante, el valor de los datos, debemos establecer sistemas de control y se5uridad que prote2an al datacenter. *istemas de detección y e#tinción de incendios, cámaras de se5uridad, controles de acceso a salas, control de acceso a nivel de racs, detección de fluidos, control de temperatura y humedad, 0*, etc., son al5unos de los 3tems a tener en cuenta para lo5rar el nivel de se5uridad adecuado del edificio.
11.- aloriación del %roecto %resupuesto. )na ve4 definidos los puntos anteriores, procedemos a la valori4ación total del proyecto, en donde estimamos el valor de construcción, provisión e instalación de cada componente definido, estableciendo y valori4ando por cada 3tem distintas alternativas. En esta valori4ación, no sólo es importante determinar el valor actual de construcción, sino el valor futuro de mantenimiento, ya sea el costo del mantenimiento preventivo, correctivo o el consumo el"ctrico, de esta ecuación saldrá la alternativa más conveniente a adoptar. -on la estimación de los valores de construcción establecidos, debemos cote2arlos con el presupuesto asi5nado a la obra. Por lo 5eneral, las primeras comparaciones siempre arro2an un valor superior de obra al presupuesto asi5nado para el proyecto. $e ser as3, debemos ir repasando y a2ustando al presupuesto cada uno de los puntos mencionados en este art3culo de manera de lle5ar al presupuesto establecido sin resi5nar prestaciones y niveles de confiabilidad. En ciertas obras, hemos tenido que a2ustar el proyecto y los costos más de <9 veces para lo5rar el me2or proyecto de acuerdo al presupuesto asi5nado.
12.- Con*ección del %roecto 4inal de Construcción. El proyecto final de construcción debe contener la in5enier3a de detalle que estable4ca los parámetros y condiciones con las que deberán coti4ar los oferentes las distintas alternativas solicitadas. $ebe estar acompañado, no sólo con una descripción t"cnica del equipamiento, sino con planos de construcción civil, tendido de cañer3as y bande2as, layout de salas, diseño unifilar y topo5ráfico de tableros, planos termo mecánicos, disposición de cámaras y puntos de control, detalle de sistemas de incendios, y todos aquellos planos que faciliten el correcto entendimiento de la obra en cuestión. $ebe contemplarse la mayor cantidad de detalles posibles con el fin de evitar olvidos o adicionales de obra que sur2an por la no especificación de al5ún parámetro.
13.- Conclusión5 1a e#periencia nos indica que todos los factores que hemos mencionado deben ser anali4ados y vistos en con2unto, deben conformar un único proyecto que contemple la situación actual y un esquema futuro de crecimiento, permiti"ndonos de esta manera ase5urar la inversión inicial y que ##
sea perdurable en el tiempo. 'o pretendemos construir un datacenter, ya que faltan innumerables 3tems a considerar, pero s3 establecer una base m3nima de requerimientos que deben ser tenidos en cuenta a la hora de remodelar o construir un nuevo datacenter.
#(
