随着我国经济的高速发展，金融行业对关键信息处理运作的数据中心数量也在急剧增长，规模日益庞大。从早期的单个机房，到如今多中心架构的大型、超大型数据中心，基础设施规模及数量呈爆发性增长。数据中心建设成本高、运行能耗高和管理难度大等问题亟待解决。金融数据中心需要不断寻求更新的技术、更好的架构和更佳的运营理念，在安全稳定运行的基础上，进一步追求“绿色节能”与“智能运维”，降低建设与运营成本，简化运维操作管理难度，快速响应业务需求。金融行业数据中心的建设运营经过20年的发展变化，老旧数据中心面临更新改造问题，新建数据中心面临技术架构选择问题。本文基于中国工商银行（以下简称“工行”）多年来对数据中心的建设运营实践，分析数据中心基础设施发展趋势，为金融行业数据中心建设和改造提供有益的技术参考。
一、现状与策略
随着数据中心数量和规模的日益增长与庞大，其运营理念与相关政策也在逐渐发生变化。
1.数据中心规模数量爆发式增长
1999年9月1日，工行启动了具有里程碑意义的“9991 工程”，在北京和上海建设南北两大数据中心，标志着我国商业银行信息化建设进入了数据集中工程阶段，拉开了我国金融行业建设大型数据中心的序幕。
随着业务规模的持续高速发展，工行于2011年建成投产上海外高桥园区扩建项目，机房规模呈几何倍数扩大。为进一步提高系统的可用性，缓解机房资源紧张问题，工行于2014 年建成投产“两地三中心”架构中的嘉定同城中心，标志着金融行业从单体数据中心走向了多中心架构，并再一次呈几何倍数扩大机房规模。
2.行业聚焦能效的提升
数据中心规模及数量的爆发式增长带来运营成本的骤增，其中一个重要问题是能耗及能源费用巨大。为了降低运营成本，数据中心通过各类技术管理手段着重解决高能耗问题，实现数据中心的绿色节能。相关行业规范对节能也提出了要求及支持。我国国标GB50174《数据中心设计规范》于2017年更新版本，引入大量新技术理念，明确要求节能设计。业界广泛应用的DataCenter Site Infrastructure Tier Standard:Topology 于2015年发布新版，仅对冗余提出目标要求而不规定架构，为新的节能技术架构的应用提供了良好平台。
目前，行业正在针对数据中心节能新技术如蒸发冷却、液冷和高压直流等加快编制规范或白皮书，促进这些技术的推广应用。
3.政策导向数据中心新布局
数据中心高能耗问题不仅为业主方带来运营成本的压力，也对社会资源供给造成了影响，与建设节约型社会的理念冲突，已引起国家及地方的重视。近几年国家和地方频繁出台数据中心相关建设指导意见。国家部委层面颁发的《关于数据中心建设布局的指导意见》（工信部联通[2013]13 号）、《国家绿色数据中心试点工作方案》（工信部联节[2015]82 号）等文件，旨在促进数据中心地域分布更合理、能效更佳。地方层面颁发的《北京市新增产业的禁止和限制目录》、《上海市推进新一代信息基础设施建设 助力提升城市能级和核心竞争力三年行动计划（2018-2020年）》以及深圳发布的《关于数据中心节能审查有关事项的通知》等文件均对高能耗数据中心的新建和扩建进行了限制。
未来数据中心新建选址将倾向于在能源相对富集、气候条件良好和自然灾害较少的地区。
二、基础设施建设改进措施
1.制冷系统
根据数据中心PUE 能耗分析，除IT 设备本身能耗外，最大的能耗为制冷系统。为了降低能耗，首要工作是在制冷系统中采用新技术、新架构和新方法，提升制冷系统能效，具体措施如下。
（1）选用更为高效节能的制冷设备
不改变制冷架构，选用更为高效节能的设备，是一种简单易行的提高能效方法。针对制冷系统中最大能耗的设备“冷水机组”，设备厂商持续研发推出了更高能效的产品，如采用高压变频技术、降膜换热器技术、永磁同步技术和磁悬浮技术等的产品；针对机房空调设备，推出了采用变频压缩机、EC直流交变风机和等焓湿膜加湿等技术产品。
（2）从机械制冷转向自然冷却
自然冷却是在气象条件允许的情况下，利用室外空气的冷量，而不需机械制冷的冷却过程。它是降低数据中心制冷能耗效果最显著的技术手段，主要分为以下两类。
一是水侧自然冷却。系统形式可为离心机组搭配水系统板换或螺杆机组自带干冷器，利用室外空气冷却循环水，为机房供冷。水侧自然冷却的优势是建筑结构无需配合制冷进行特殊设计，便于建筑设计建造；劣势是系统相对复杂，部件多且耦合度高，需要专业运维。水侧自然冷却适用于技术资源充沛，土地资源紧张的地区。
二是风侧自然冷却。系统形式可为直接新风冷却、直接或间接蒸发冷却，利用室外空气直接或间接冷却室内空气为机房供冷。风侧自然冷却的优势是系统简单，模块化程度高，便于运维；劣势是建筑结构需要配合制冷进行特殊设计建造。风侧自然冷却适用于在平均气温低且土地资源相对充裕的北方地区。
金融行业数据中心趋向于因地制宜地选择最适合的自然冷却架构。
（3）合理调控机房温度助力节能
数据中心机房合适的温湿度环境是IT设备安全稳定运行的重要前提。适当提高数据中心机房温度设定，可明显降低冷水机组能耗，创造更长的自然冷却利用时间，减少控制湿度所需的能耗。
前些年，金融数据中心严格按照《电子计算机机房设计规范》等旧版制度要求，将机房温度控制在23℃，且为减少局部热点问题，空调实际供冷温度远低于23℃，造成较高能耗。目前，新版国标GB50174《数据中心设计规范》将机房温度控制至27℃。金融行业数据中心正尝试逐步提高温度，向规范所要求的27℃靠拢，并跟踪市场上服务器耐温技术以及液冷服务器技术的应用发展，探索更高的机房允许温度。
（4）走向就近的定量化制冷
传统的房间级下送风空调具有便于机房布局调整的优势，但存在着无效制冷空间大、制冷密度较低和能效较低等劣势。目前机架式服务器及云计算等技术产品的大规模应用，无需反复调整机房物理布局，房间级空调的优势弱化。
仅为服务器供冷而弱化整机房控温，这是对机房制冷能效提升的重要思路。行级制冷、机柜级制冷、冷板液冷和浸没式液冷等近端制冷技术已进入金融行业数据中心应用或研究范围。这些近端制冷技术相较于房间级的制冷更接近服务器本身，减少制冷气流输送距离、减少冷量损失；降低空调之间的气流组织耦合度，能更方便进行冷量输出精准化控制，进一步降低冷量损失；无需机房架空地板，节省建筑及装饰成本。目前，行级制冷已运用在金融行业数据中心，不仅提高了机房制冷能力和服务器装机密度，而且具有较好的节能效益。随着装机密度的进一步提升，其他相关的近端制冷技术也将有较好的适用场合。
2.供电系统
供电系统的能耗仅次于IT 系统与制冷系统，采用新技术架构及产品来提高供电系统效率是实现数据中心绿色节能的重要一环，具体措施如下。
（1）选用更为节能的不间断电源设备
不改变供电架构，选用更为节能高效的设备，是一种简单易行的提高能效方法。
从早期的6脉冲工频UPS 到后来的12脉冲工频UPS，增强了供电品质与稳定性；从早期的工频UPS 到目前主流的高频UPS，提高了转换效率，节能效果明显。目前金融行业数据中心所广泛采用高频塔式UPS在低负载率时供电效率较低，且由于金融行业采用2N供电架构，负载率普遍较低，导致实际供电效率低于标称效率。模块化UPS通过灵活的在线扩缩及休眠技术，能更好适配IT负载变化，始终处于高效工作状态，提升节能效果。
此外，随着我国电网质量的不断提高，使用旁路供电为主的UPS ECO模式也是一个研究方向，在此模式下供电效率大幅提升，可考虑应用在非核心负载中，如为空调制冷系统的供电环节中。
（2）探索更高效的供电架构
高压直流HVDC 系统是一种简化UPS系统的重要技术。相较于传统交流UPS系统，因其少了逆变环节，且备用电池与直流输出为并联关系，在理论上可靠性与效率都优于交流UPS。
一路HVDC 加一路市电直供的供电架构在系统供电效率、占地面积和易维护性等方面较传统2N交流UPS系统均具有优势，且理论上可用性与传统2N交流UPS基本相当。我国网络运营商及IDC已较大范围推广使用一路HVDC加一路市电直供的架构。目前金融行业数据中心因IT架构所采用的380V IT设备不适用HVDC供电等原因，依然主要采用2N 交流UPS供电架构。随着金融行业“多活数据中心”“云计算数据中心”等技术的不断深入推进，在保障业务连续性运行的前提下，也可对“HVDC+市电”等的高效供电架构开展研究并尝试应用。
（3）集中式供电与分布式供电
金融行业数据中心广泛采用集中式供电：数据中心设计若干专用房间，在内集中安装UPS设备，集中向IT机房供电。集中式供电具有便于运维和管理的优势，但也存在无法提供差异化供电、调整扩容难度大等劣势。
分布式供电无专用的UPS机房，IT机房市电直供，将UPS 或电池直接安装于IT机柜内部或服务器内部不间断供电。分布式供电虽然存在UPS系统碎片化、不利于运维管理等劣势，但它在供电的灵活性方面具有很大的优势。分布式供电可在不同的机柜或者服务器中部署不同类别的供电系统，如某些机柜采用交流供电，某些机柜采用直流供电，某些机柜采用市电直供等。分布式供电也便于后续的扩缩调整，更适应业务的快速发展迭代。
金融行业数据中心核心系统的运维要求高，将仍然采用集中式供电系统。在后续规划建造测试、研发和生产等多用途复合型数据中心时，如有采用差异化供电的需求，可以关注分布式供电架构与产品的发展。
（4）储能介质的发展
铅酸电池目前是UPS的首选储能介质，具有单价低、安全可靠等优势，同时也存在能量密度低、重量大和体积大等劣势。超大型数据中心动辄上万节的电池，对建筑的空间及承重提出了更高的要求。
锂电作为新兴储能介质，具有能量密度高、重量轻、体积小、循环寿命长和自带控制管理系统等优势。目前较为成熟的动力锂电有磷酸铁锂和三元锂两种。虽然三元锂在能量密度、成本方面较磷酸铁锂更有优势，但其分解温度相对较低且为有氧分解，存在热失控及爆燃的风险，安全性相对较低。磷酸铁锂电池更适合在安全要求极高的数据中心使用。
随着技术的进步、管控系统的不断完善以及成本的下降，锂电池将是金融行业数据中心储能的重要发展方向。
（5）后备电源的变化
柴油发电机作为后备电源，是保障数据中心供电连续性的一项重要设备。传统数据中心的柴发设备放置在数据中心机房楼或动力楼内，占用了较多室内空间，增加了基建成本。在条件允许的情况下，可以采用集装箱户外型柴油发电机，直接安置于室外，不占用机房空间，无需考虑排气管路的布局，也更有利于数据中心的模块化建设。
金融行业核心数据中心的外电架构为取自两个不同的外部变电站的双路外电，外电部分的可用性较高。根据数据中心运维的实践经验，极少发生双路市电均长时间停电，由发电机系统长时间供电的应急场景。另外，随着金融行业关键信息系统的多活数据中心架构的不断建设完善，应对诸如单个数据中心园区失去供电的园区级灾难，可通过应用系统层面的相关技术，实现其他数据中心相关业务的接管。因此对数据中心园区的现场储油量趋于压降，通过与供油公司签订燃油紧急供货保障协议来保障后备电源工作。
3.运维管理的改进
随着数据中心体量规模不断增大，运维人力资源需求也随之增加。同时，数据中心布局的偏远化也给运维人员的稳定性、团队的专业性带来了挑战。通过技术实现机房基础设施管理的自动化、智能化将成为行业趋势。
（1）IoT加持DCIM
DCIM系统是通过一整套包含硬件设施、传感器和特定软件组成的管理平台与工具，实现数据中心所有关联系统协调统一管理，包括IT基础设施和场地基础设施，对数据中心的容量规划、集中监控、智能管理、事件处置、模型预测和成本控制等目标进行管理。
相对于IT设备，场地基础设施中较多设备不具备“自查及汇报”工作状态能力。IoT 物联网技术是通过各类信息传感设备，实时采集所需要的声、光、热、电和位置等各种所需要的信息，与互联网结合形成网络，实现物与物、物与人的链接，方便识别、管理与控制。IoT技术将更多的机房基础设施系统纳入DCIM管理，并提供更精准的数据，实现更全面、更透彻的数据中心可视化管理，如基于RFID 的设备资产管理、基于ZigBee通讯的电池监控管理和基于智能PDU的电能监测等。
（2）AI助力高效运维
金融行业数据中心一直重视在运营过程中持续对能耗的压降工作。根据国外数据中心运营经验，通过IoT及AI技术将机房基础设施运行情况进行采集、汇总并分析，对PUE等能效参数进行计算比较，数据挖掘出能耗大的原因，对其进行优化。或AI自学习自寻优最佳运行方式，从而达到降低能耗的目的，助力数据中心的绿色节能。
数据中心运行过程中产生海量的设备运行数据，对其进行大数据分析，获得提升数据中心运维水平机会。例如，将设备的运行状态与其故障概率建立模型关系，向运维人员提供“即将故障”的预告警；将设备的维护情况与其生命周期建立模型关系，向运维人员提供更优的维护策略；将数据中心的告警与故障根源建立模型关系，实现故障自动溯源，快速根源分析等，助力数据中心管理的智能化。
（3）机器人释放运维人力资源
目前，金融行业数据中心机房普遍采用现场专人值守及定期巡检的运维机制。由于数据中心数量与规模的爆发式增长，机房巡检的工作量大大增加。在这种形势下，用智能巡检机器人辅助人工巡检，能够有效提升运维工作的效率和准确性，是未来发展的趋势。
数据中心的智能巡检机器人可以采用目前已经非常成熟的移动机器人技术为基础，结合图像识别技术、传感器技术和无线通信技术等，辅助工作人员或代替工作人员，对数据中心机房进行定时巡检：识别、存储各种生产设备的位置和运行状态并且做出初步处理；定时收集温度、湿度、洁净度和气流速度等机房环境数据，用于分析机房的环境情况分布；统计机柜使用率等指标，形成设备、机房整体运行状态综合评价。为数据中心提供更及时、更有效的数据，以此提升数据中心巡检的及时性、准确性，提升整体巡检效率，强化运维人力资源效能。
综上所述，随着我国金融行业的高速发展，关键信息基础设施数据中心的数量和规模也在快速增长。如何实现绿色节能、高效运营，是未来业界关注的重点。在制冷、供电以及运维的技术产品和理念不断变化和改进的情况下，通过分析研究这些技术趋势，业界可选择采用相应的技术架构，进一步提升金融行业关键信息基础设施的建设和运营水平。
来源于互联网。
