• 快捷搜索
  • 全站搜索

大型数据中心机房模块规划研究

2016-12-29 10:35:28作者:中国建设银行北京数据中心 丁海虹 王昌旭编辑:金融咨询网
本文针对大型数据中心的机房模块规划做了专项调研,研究了如何规划机房模块的面积、类型和数量、供电密度、相对位置、机房模块和模块化机房之间的区别等内容。并结合实际调研数据进行了论证分析,找出共同规律,可用于指导类似大型数据中心的机房模块规划工作。

大型金融机构、互联网公司和电信运营商需要建设大型的数据中心,这些数据中心机房面积大,经常达到数万平方米,必须规划成多个机房模块。做好机房模块规划工作对于整个数据中心的后续运维至关重要。本文针对大型数据中心的机房模块规划做了专项调研,研究了如何规划机房模块的面积、类型和数量、供电密度、相对位置、机房模块和模块化机房之间的区别等内容。并结合实际调研数据进行了论证分析,找出共同规律,可用于指导类似大型数据中心的机房模块规划工作。

背景介绍

  根据工信部、发改委以及国土部出台的数据中心建设布局的标准规范,大型数据中心是指规模大于等于3000个标准机架,小于10000个标准机架的数据中心。

  我们通过对表1中已投产的7个大型金融机构数据中心进行调研分析,发现这些机构的数据中心机架数基本都在3000~9600个之间,机房净面积在10000~32000m2范围,属于典型的大型数据中心。

图片1.jpg
表1 大型数据中心面积及机架数基本情况

机房模块规划考虑的要素

   1.规划机房模块的面积

   大型数据中心每个机房模块的面积设计成多大合适?如果机房模块面积设计过大,在机房模块刚启用时,经常出现只投产部署了少量IT设备,却需要同时开启大量空调设备,造成低效率,浪费能源。如图1所示,机房制冷普遍占到机房总能耗的33%,节能潜力大。目前大型数据中心的PUE值逐步从大于2.0向1.7,甚至朝着1.5发展。通过合理规划机房模块大小,是节能降耗的重要措施之一。

图片2.jpg
图1数据中心能耗分布图

  如何确定机房模块面积大小?首先,要遵照最大消防分区不能超过3600m3的原则。

  其次,根据地板下送风高度,加上机柜高度和回风高度可以确定大楼层高。地板下送风高度与机房功率密度和送风距离有关系,详见表2。

图片3.jpg

  目前许多新建的大型数据中心地板下送风高度为0.9m,层高在5.8~6m左右,据此可以算出机房模块面积不能超过600~620 m2。总体来说,随着机房模块功率密度增加,地板下送风高度需要同步增加。从表2可以看出,当功率密度为3.0kw/m2时,最大地板高度达到1.9m,在现有5.8~6m层高的基础上需要再增高1 m,这种情况下最大机房模块面积应控制在510~530 m2。

  再次,要避免机房模块面积设计过小,而造成机房面积碎片化严重的情况。实际调研发现大型数据中心的机房模块面积很少小于200 m2。

  如表3,我们对7个大型数据中心的机房模块面积大小进行了调研,结果发现,大型数据中心的机房模块面积从380 m2到850 m2不等。最近几年投产的机房模块面积多在380、450、580、750 m2左右。综上分析,我们建议大型数据中心的机房模块面积在400-~500 m2左右是比较合适的。

图片4.jpg

  以450 m2的机房模块为例分析,按照冷热通道部署,部署宽800mm、深度1200mm、42 U高的机柜,大约可以部署140个标准机柜。如果每个机柜部署8台4 U的PC服务器,已经可以部署1000台以上的服务器。如果每个机柜部署1 6台2 U的PC服务器,则可以部署2000台以上的服务器,这个规模已经非常可观了。

   2.规划机房模块的类型

   如何规划机房模块的类型?机房模块的类型主要可以根据用途的不同进行区分。由于机房模块用途不同,对应的IT设备不同,机房模块的用电密度,机房的布局,综合布线的布线方法,机房模块的建设成本也不完全相同。机房模块从类型上来区分,主要可以规划为网络模块、存储模块、开放服务器模块、测试模块等。

  网络模块:主要负责网络接入。作为广域网和局域网的核心。对外负责接入运营商,连接全国各地的分支。对内则作为数据中心的局域网核心。网络模块的特点是耗电量不高,设备类型不统一,既有耗电量大的大型核心网络设备,也有大量耗电量不高的负载均衡、防火墙、交换机及路由器等设备。

  存储模块:主要用来集中放置存储设备,包括NAS和SAN存储,还包括磁带库和虚拟带库等设备。

  开放服务器模块:主要用来集中放置标准的服务器设备。包括PC服务器、刀片服务器和小型机服务器。服务器的特点是标准化程度高,密度非常大。

  测试模块:主要用来集中部署测试设备。测试模块的特点是比较灵活,比生产模块的安全性要求低,可以根据测试需求随时进行调整,管理要求不高。

  在金融机构的数据中心,根据有些特殊用途,还可以规划出其他几种类型特殊的机房模块。

  互联网模块:主要负责部署接入互联网类型的应用,通常需要接入互联网,安全要求高,容易受到来自互联网的攻击。例如网银、网站、电子商务类应用。

  外联网模块:主要负责接入有业务关系的第三方公司、第三方机构、合作公司等,有大量的互联专线。

  主机模块:部署主机系统。由于主机系统的设备类型,部署方式和普通IT设备都不同,可以规划出专门的主机模块。

  其他机房模块还可以规划参观模块、屏蔽机房模块、托管模块等。

  有些大型数据中心根据用途不同,规划了不同等级标准的机房模块。例如大部分机房模块按A类标准规划,少量机房模块按B类和C类标准规划,按不同的等级在供电、空调和综合布线密度和容量上有较大不同,比相同等级进行建设可以节约资金投入,这也是可以借鉴的经验。

   3.规划机房模块的供电密度

   根据设备的类型不同,机房模块设计成不同的供电密度。例如高密度、中密度和低密度。目前,业内对机房密度分类如表4所示,大于2.5kw/m2的称为高密度数据中心,0.4kw/m2以下称为超低密度数据中心。

图片5.jpg

  按照单位面积的供电密度,在机房实际使用时需要转化成单机柜的供电密度,表5以这几种供电密度为例进行分析。

图片6.jpg

  规划机房模块供电密度时需要结合主要IT设备实际的耗电功率进行分析,额定功率只能作为参考,实测功耗比较准确。如表6,统计了几种典型的IT设备的实测功耗。

图片7.jpg

  结合上述设备的实测功耗,按照机柜内可部署设备台数,推算出不同类型机房模块功率密度如表7。

图片8.jpg

  分析发现,低密模块则可以用来部署网络设备,既可以满足大型网络设备(6kw)的单机柜部署,也可以满足网络模块平均功耗不高的特点。

  中密度模块可以很好地满足常规PC服务器和小型机服务器的部署。42 U的机柜可以部署2 U的PC服务器12台(5~7kw),或者4 U的PC服务器8台(6~7kw),电力资源可以得到充分利用。

  高密模块比较适合部署刀片服务器,42 U的机柜部署刀片服务器3台,耗电功率高达14.3kw,可以充分利用电力资源。如果高密度模块部署PC服务器,则电力利用率最多只能达到50%左右。

  通过调研发现,几个大型数据中心的机房模块密度如表8。调研发现,这些大型数据中心的供电密度基本都在0.7~2kw/m2之间,尤其以1 kw/m2左右供电密度的机房模块最多,也有少量0.5 kw/m2和3.0kw/m2以上的机房模块。

图片9.jpg

  从调研结果和实际使用效果来看,0.5 kw/m2的供电密度过低,供电容易成为瓶颈,导致机房空间不能充分利用。大于5kw/m2的供电密度则过高,根据目前IT设备的功耗来看,供电往往得不到充分利用。

  结合实际使用效果,机房供电密度设计在1 kw~2kw/m2是比较合理的。但是,保留少量的低密度供电模块供耗电量低的设备使用,供电密度可以设计成小于1 kw/m2,可以节约投资。同时考虑到IT设备的耗电量在逐年增加,规划少量高密度模块也是合理的,供电密度可以提高到3kw/m2;除非大量使用高密度耗电设备,否则高密模块的数量不易过多。因为高密度机房模块需要更多的配电设备和制冷设备,建设成本高于其他类型的机房模块。

   4.规划机房模块的数量

   机房模块面积和机房模块类型确定后,接下来需要规划每种类型机房模块的数量。

  规划机房模块的数量要考虑以下三个因素:调研具体的、需求;分析现状;考虑未来的发展趋势。

  有些机房模块之间存在一定的比例关系。例如存储模块和开放服务器模块之间就存在比例关系。有些单位统计发现存储模块占到生产模块的1/6。有些单位要求,灾备、测试、模拟演练用途的机房模块占到总机房模块数的20%。网络模块的数量一般比较固定,考虑到冗佘性,建议每栋机房楼至少规划2个网络模块。

  各种类型的机房模块数量需要结合实际的需求,并适当考虑当前的现状和未来的发展趋势,尤其需要多规划开放服务器机房模块。如果大型数据中心的机房模块数量较多,可以根据需要分批投产,适当进行预留,避免一次性投入过多。

  前文也提到,中等供电密度的机房模块占主体,建议在70%以上,控制低密度和高密度机房模块数量占比不超过30%。

   5.规划机房模块的位置

   机房模块的位置规划包括楼层的选择、互临关系的设计等。

   网络机房模块需要靠近运营商机房,有大量的线缆需要从室外进入,需要占用大量的管井资源。网络模块一般建议选择在低楼层,可以避免过多占用楼层管井资源,也便于多栋机房楼之间通过光纤互相连通。

  存储模块为开放服务器模块提供存储服务,最好紧挨开放服务器模块,缩短距离有利于减少光纤长度。

  测试模块的重要性较低,可以先规划生产模块的位置,最后剩余的模块留给测试模块。考虑到机房楼顶层出现漏雨的概率高于其他楼层,运维行走的距离也最远,一般可以把机房楼的顶层规划为测试模块。

  参观的机房模块,建议尽量靠近电梯或者出入通道。

  低密度模块可以和高密度机房模块紧挨部署,便于合理分配电力资源。中密度模块可以均匀对称分布。

  6.机房模块和模块化机房的区别

  随着模块化机房的大量投入使用,容易混淆机房模块和模块化机房的概念。

  机房模块:传统的大型数据中心,由于单层机房面积过大,为了使用方便和节能,根据功能划分成不同的机房模块。机房模块效果如图2所示。

图片10.jpg

  模块化机房:模块化机房是一套完整的解决方案,集机柜、配电、制冷、监控、综合布线、消防等系统于一体,实现了供电、制冷和管理组件的无缝集成。模块化机房类似于集装箱。模块化机房可以实现智能、高效的运行,让客户花最少的投资,获得更多的收益,从而降低运营费用,模块化机房效果图如图3所示。

  机房模块和模块化机房是两个不同的概念,两者既有相似之处,也有差异。相似的地方在于都是以模块为单位进行扩展。不同的是模块化机房的配电、制冷、消防、机柜都集成在集装箱内。大型数据中心机房模块的配电、消防等都有专门区域,包括柴油发电机,高低压配电系统、UPS等,制冷的冷冻机组、冷水机组也是单独的区域。模块化机房一般没有专门的工作空间,模块化机房的耐久性也有待检验,安全性和服务可用性也比大型数据中心略差。

结论

  通过研究,结合实际的调研数据进行分析,可以得出大型数据中心机房模块规划时的一些共同规律。每个机房模块的面积规划为400-500m2左右比较合适。中等密度的机房模块供电密度设计在1-2kw/m2比较合理,数量占比达到70%左右,也可以少量规划一些低密度和中高密度机房模块。各种类型的机房模块数量需要结合实际需求,并适当考虑当前的现状和未来的发展趋势,尤其需要多规划开放服务器机房模块。大型数据中心的机房模块数量较多,可以根据需要分批投产,适当进行预留。机房模块和模块化机房容易混淆,实际上这是两个不同的概念,模块化机房适用于中小规模业务需求的数据中心,大型数据中心一般需要分成多个机房模块。合理规划机房模块的位置也很重要。

(文章来源:《金融电子化》杂志)

扫码即可手机
阅读转发此文

本文评论

相关文章