- 快召唤伙伴们来围观吧
- 微博 QQ QQ空间 贴吧
- 文档嵌入链接
- 复制
- 微信扫一扫分享
- 已成功复制到剪贴板
5G 和 IDC“新基建”促温控技术革命 性升级,散热行业迎量价齐升大发展
温控设备, 特别是设备精密空调、户外机柜温控设备、服务器液冷组件等,将是上述信息 “新基建”的基本保障,保证中国 5G 网络更节能、更稳定、更节省和更快速 地部署。
展开查看详情
1 . Table_BaseInfo Table_Title 2020 年 03 月 18 日 行业深度分析 通信 证券研究报告 投资评级 领先大市-A 维持评级 Table_FirstStock 首选股票 目标价 评级 Table_Chart 行业表现 资料来源:Wind 资讯 % 1M 3M 12M 相对收益 -5.36 -7.90 -19.81 绝对收益 -6.95 -4.99 -14.73 夏庐生 分析师 SAC 执业证书编号:S1450517020003 xials@essence.com.cn 021-35082732 彭虎 分析师 SAC 执业证书编号:S1450517120001 penghu@essence.com.cn 杨臻 分析师 SAC 执业证书编号:S1450518080005 yangzhen@essence.com.cn 相关报告 数据中心产业链梳理:CPU 平台升级, DRAM 周期反转,PCB 量价齐升 2020-03-01 5G 智造系列一:云上互联、别开生面 2020-02-22 【安信通信每周观点】全国高速入口称 重、ETC 并网切换如期进行,车联网示 范试点落地北京 2020-01-06 【安信通信每周观点】中国移动启动 5G 光传输集采,通信院发布车联网白皮书 2019-12-30 【安信通信每周观点】中国 C-V2X 车联 网专利世界领先,光通讯 400G “新时代” 近在眼前 2019-12-16 本报告版权属于安信证券股份有限公司。 1 各项声明请参见报告尾页。
2 .5G 和 IDC“新基建”促温控技术革命 性升级,散热行业迎量价齐升大发展 ■全球云基础设施 Capex 即将大幅提升,温控设备是基本保障,需求大幅增长。 2020 年 5G 时代已经到来,三大应用场景将分阶段落地,5G 基建落地后,5G VR/AR、车联网、高清视频等应用将产生较 4G 时代更庞大的网络流量,进一 步带动云数据中心的投资,边缘云基础设施的需求也将指数级提升。温控设备, 特别是设备精密空调、户外机柜温控设备、服务器液冷组件等,将是上述信息 “新基建”的基本保障,保证中国 5G 网络更节能、更稳定、更节省和更快速 地部署。 ■温控设备和 IT 设备均亟待升级,微模块数据中心产品全面普及。数据中心需 要满足高密度、低 PUE 和快速按需部署的要求,温控设备和 IT 设备均亟待升 级。而以精密空调为代表的温控设施是上游 IDC 降低 PUE 的关键。根据 IMB 估计,空调设备成本占数据中心建设成本的 16.7%,但对 IDC 全生命周期内降 低 Opex、符合政策 PUE 要求有关键性影响。根据 ICT Research 估计,2020 年机房温控节能设备市场规模预计将接近 56 亿人民币。国内 IDC 低能效问题 是云基础设施建设的痛点之一,而微模块数据中心凭借高能效和快速部署优势 成为主流标准。 ■散热效率更高、更节能的液冷服务器技术升级,叠加服务器出货进入上升周 期,行业机遇巨大。云数据中心的 IT 硬件投资是 Capex 的主要组成部分,IT 硬件主要包括服务器、网络设备(交换机和路由器)、存储设备等,将在本轮 5G 流量爆发的浪潮中首先受益。数据中心生命周期内累计 Opex 通常是建设成 本的 4 倍以上,加大一次性建设支出,采用低 PUE 方案的 IT 设备是未来 IDC 业主的必然选择。散热效率更高、更节能、更静音的液冷服务器有望逐步成为 主流,将配合其他温控设备一同降低数据中心 PUE。提供各类液冷解决方案的 公司将充分受益。此外,国内服务器市场自身 3~4 年的更新周期拐点到来,服 务器市场自身重回景气阶段,带动液冷解决方案行业进入景气上升周期。 ■5G 建设大潮到来,基站散热机柜出货量大幅提升。5G 基站密度和功耗远高 于 4G,随着 5G 基站建设的深化,机柜温控设备产品有望实现价量齐升,即使 与 4G 设备共柜也要进行全面的散热升级。同时,5G 作为“新基建”重点方向, 未来 10 年将是“宏站+微站”格局齐头并进,具有超长演进周期,中长期小基 站散热基础设施必不可少。 ■车联网“新基建”投资开启,ETC/V2X 机柜设备需求大幅增长。今明两年, 国家交通建设重点不单是传统基建(铁路、公路、机场等),而将是更进一步升 级到了以 V2X 信息基础设施为代表的“新基建”。在 5G V2X 车联网建设中, 路侧通信单元 RSU 是实现车联网连续覆盖的重要设施,将全面部署在交叉路 口、公路道路和高速公路等场景,而 ETC/V2X 门架系统集成机柜安装在龙门架 旁边,包含了空调制冷模块、电源、消防、监控等,离不开车联网户外机柜精 密温控设备的保障。 ■国内设备温控龙头公司比肩艾默生,市占率不断提升。近年来,国内英维克、 佳力图等公司凭借模块化数据中心产品的技术进步,已陆续为阿里、腾讯、以 及三大运营商的超大型 IDC 提供高效节能的模块化制冷系统及产品,市占率持 续攀升,未来有望逐步向电器巨头艾默生靠拢,成为细分领域龙头。 ■投资建议:中国超大强度的 3G/4G、FTTx 网络资本支出,创造了全球最完 善的网络基建和最庞大的互联网用户群体,中国移动应用实现弯道超车。在通 信巨头华为、中兴和互联网巨头阿里、腾讯的推动下,中国云应用百花齐放。 设备温控行业是 5G 和 IDC“新基建”的底层保障,5G 基站、V2X 机柜散热、 液冷服务器方案升级将是设备温控行业的全新增长点,我们看好国内龙头企业 英维克、佳力图等在“新基建”浪潮中逐步实现对海外巨头的替代。 本报告版权属于安信证券股份有限公司。 2 各项声明请参见报告尾页。
3 .■风险提示:温控市场技术众多,存在细分市场竞争加剧的风险、技术更迭风 险或新方案推进不及预期的风险;全球经济动荡,全球 5G 建设不及预期的风 险。 本报告版权属于安信证券股份有限公司。 3 各项声明请参见报告尾页。 9YaXpWvXhYiZlX9YMBpPnM9PaO6MoMoOpNrRkPrRtQfQrQvM9PrQqOxNoOzQvPmNoM
4 . 行业深度分析/通信 内容目录 1. 云基础设施温控重要性提升,IDC 微模块、液冷服务器是新增长点.......................................... 7 1.1. 全球流量暴增,云计算数据基建设施投资需求大幅提升.....................................................7 1.2. “科技新基建”功率密度提升,绿色节能化成为趋势............................................................ 7 1.2.1. 云数据中心产业链解构:上游 IT 硬件、电力设备投资大,温控设备是底层保障 7 1.2.2. IDC 建设需要满足高密度、低 PUE 和快速部署三大要求,模块化和液冷散热成为 重要的技术创新点....................................................................................................................... 9 1.3. 微模块方案凭借灵活快速部署、低 PUE 优势成为收据中心主流选择之一....................14 1.4. 更集约、更节能的液冷服务器是下一个风口.......................................................................16 1.4.1. 液冷技术有望成为服务器散热标配............................................................................ 16 1.4.2. 2020 年云服务器出货量触底回升,行业整体景气周期向上................................... 21 1.5. 大型数据中心投资进入上升周期,国内温控行业空间巨大.............................................. 23 1.5.1. 中美两国继续瓜分全球应用流量,两国数据中心基建投资加速............................ 23 1.5.2. 2019 年云计算巨头资本支出触底,5G 新应用有望促进全球 Capex 回升........... 26 1.5.3. 中国数据中心保有量增长快于全球平均.................................................................... 27 1.5.4. 中国云计算巨头大型 IDC 投资与北美仍有差距,未来发展空间大....................... 28 2. 5G 投资高峰即将到来,户外机柜温控设备大有可为................................................................... 29 2.1. 中国 4G 基站建设全球领先,上游基站机柜温控设备龙头公司快速成长.......................29 2.2. 5G 基站器件量价齐升,2020 大规模投资拉开帷幕........................................................... 31 2.3. V2X 联网基建大幕拉开,路侧机柜温控成为全新增长点...................................................32 3. 重点公司............................................................................................................................................. 33 3.1. 英维克:“新基建”投资开启,公司是精密温控领域执牛耳者........................................ 33 3.2. 佳力图:业务涵盖精密空调、冷水机组和代维服务,外延涉足第三方 IDC 领域......... 34 图表目录 图 1:思科的全球互联网流量增速预测................................................................................................. 7 图 2:4G 建设末期我国移动互联网接入流量维持指数级增长...........................................................7 图 3:云数据中心产业链..........................................................................................................................8 图 4:中国 IDC 耗电量历史及预测.........................................................................................................9 图 5:中国 IDC 单机柜功率密度分析及预测........................................................................................ 9 图 6:数据中心配套设施建设成本比例............................................................................................... 13 图 7:散热负荷远远超过 IT 负荷..........................................................................................................13 图 8:数据中心提高能效的“内外双修”........................................................................................... 13 图 9:数据中心微模块构成示意图....................................................................................................... 15 图 10:微模块优于传统 IDC................................................................................................................. 15 图 11:2016 年机房温控设备竞争格局............................................................................................... 15 图 12:英维克机房温控节能设备收入快速增长(单位:亿元).......................................................... 15 图 13:数据中心案例 A 成本分析........................................................................................................ 16 图 14:数据中心案例 B 成本分析........................................................................................................ 16 图 15:自然风墙的工作原理................................................................................................................. 17 图 16:百度云计算(阳泉)中心采用间接风侧自然冷却的 AHU........................................................ 17 图 17:风冷服务器和液冷服务器的比较............................................................................................. 18 图 18:不同散热方案的可以实现的能效(纵轴为 PUE)............................................................... 18 图 19:冷板式液冷服务器原理图......................................................................................................... 19 本报告版权属于安信证券股份有限公司。 4 各项声明请参见报告尾页。
5 . 行业深度分析/通信 图 20:全浸没式液冷服务器原理图..................................................................................................... 19 图 21:阿里巴巴浸没式麒麟服务器..................................................................................................... 20 图 22: 阿里巴巴液冷服务器集群....................................................................................................... 20 图 23:曙光“刀片式浸没相变液冷”服务器(局部).....................................................................20 图 24:曙光全浸没相变液冷样机......................................................................................................... 20 图 25:浪潮与百度合作的超级 AI 计算平台 X-MAN4.0................................................................... 21 图 26:浪潮与电工所合作的新型液冷 HPC 系统.............................................................................. 21 图 27:中国服务器出货量及增速......................................................................................................... 21 图 28:全球服务器出货量及增速......................................................................................................... 21 图 29:全球服务器营收及增速............................................................................................................. 22 图 30:2019 年全球服务器供应........................................................................................................... 22 图 31:2012-2018 全球以太网交换机收入及增速.............................................................................23 图 32:2012-2018 全球路由器收入及增速.........................................................................................23 图 33:全球 Top100 网站...................................................................................................................... 23 图 34:2019 年中的全球网页访问排名............................................................................................... 23 图 35:亚马逊 AWS 营收(亿美元)及增速......................................................................................24 图 36:阿里云营收(亿人民币)及增速............................................................................................. 24 图 37:微软 Azure 营收(亿美元)及增速........................................................................................ 24 图 38:2017 全球公有云市场份额....................................................................................................... 25 图 39:2018 全球公有云市场份额....................................................................................................... 25 图 40:2017 年我国公有云市场份额................................................................................................... 26 图 41:截至 2019Q1 我国公有云市场份额.........................................................................................26 图 42:亚马逊资本支出及增速............................................................................................................. 26 图 43:微软资本支出及增速................................................................................................................. 26 图 44:谷歌资本支出及增速................................................................................................................. 27 图 45:FACEBOOK 资本支出及增速.................................................................................................. 27 图 46:2014~2018 年全球 IDC 市场规模...........................................................................................27 图 47:2012~2018 年中国 IDC 市场规模...........................................................................................27 图 48:全球和中国 IDC 保有面积及增速............................................................................................ 28 图 49:全球和中国 IDC 新增面积及增速............................................................................................ 28 图 50:2018 年我国运营商仍然占 IDC 市场主流份额......................................................................28 图 51:中国互联网巨头资本开支与北美公司仍有差距.....................................................................28 图 52:2011-2018 美国数据中心投资额............................................................................................. 29 图 53:2015-2018 全球数据中心、机架数量.....................................................................................29 图 54:目前中国超大型云数据中心在全球占比仍然较少.................................................................29 图 55:2018 年全球数据中心市场份额............................................................................................... 29 图 56:我国 4G 基站数量......................................................................................................................30 图 57:英维克机柜温控设备收入与同行业内比较(百万元).........................................................31 图 58:国内三大运营商资本开支及预测............................................................................................. 31 图 59:ETC 机箱、一体箱、机房等产品示意图................................................................................33 图 60:ETC 门架系统一体化智能机柜示意图....................................................................................33 表 1:数据中心使用的主要设备:包括 IT 设备、制冷设备和供电系统等....................................... 7 表 2:精密温控节能设备的特点..............................................................................................................9 表 3:数据中心当前能耗问题分类....................................................................................................... 10 本报告版权属于安信证券股份有限公司。 5 各项声明请参见报告尾页。
6 . 行业深度分析/通信 表 4:国家层面对数据中心“节能减排”政策汇总........................................................................... 10 表 5:各省市对数据中心相关政策汇总............................................................................................... 12 表 6:微模块数据中心主要优点........................................................................................................... 14 表 7:液冷和风冷服务器的性能对比................................................................................................... 18 表 8:数据中心液冷与风冷的比较分析............................................................................................... 19 表 9:高能耗密度的数据中心将率先采取液冷方式,浸没式成为首选...........................................19 表 10:浸没式液冷技术分类................................................................................................................. 19 表 11:2017~2018 年全球云计算服务商市占率................................................................................ 25 本报告版权属于安信证券股份有限公司。 6 各项声明请参见报告尾页。
7 . 行业深度分析/通信 1. 云基础设施温控重要性提升,IDC 微模块、液冷服务器是新增长点 1.1. 全球流量暴增,云计算数据基建设施投资需求大幅提升 2020 年 5G 时代已经到来,5G 三大应用场景将分阶段落地,首先带来的是遍布全球的移动 基站、车联网 V2X 基站、以及海量物联网连接,而庞大的网络连接必将带来全球互联网流量 的再次加速增长,从而带动互联网云数据中心投资的增加,对边缘云基础设施的需求也有望 指数级提升。 根据思科可视化网络指数(VNI)估计,自 1984 年以来,全球互联网已产生超过 4.7 ZB 的 IP 流量,但 2016~2022 年全球 IP 流量将会超过此前所有“互联网年”的流量总和, 届时全球 IP 流量预计将达到每月 396 EB,每年 4.8 ZB。同时,全球将有超过 280 亿台 设备和连接在线,其中高清视频(包括 VR/AR)将占据全部 IP 流量的 82%。 而作为互联网基础设施中的基础设施—“温控设备”,比如室内精密空调、户外散热机柜、 服务器液冷系统等,将发挥对“科技新基建”的基本保障作用,确保 5G 和云计算更节能、 更稳定、更快速、成本更低地实施部署。 图 1:思科的全球互联网流量增速预测 图 2:4G 建设末期我国移动互联网接入流量维持指数级增长 资料来源:Cisco VNI,安信证券研究中心 资料来源:工信部,安信证券研究中心 1.2. “科技新基建”功率密度提升,绿色节能化成为趋势 1.2.1. 云数据中心产业链解构:上游 IT 硬件、电力设备投资大,温控设备是底层保障 云计算数据中心产业链包括上游基础设施及硬件设备商、中游为运营服务及解决方案提供商、 下游为数据流量用户,温控设备是底层设施的保障。 下游:主要包括互联网云服务商、互联网垂直应用服务商、金融机构、制造业及软件企业、 政府部门等。下游客户对算力、存储的需求增长是驱动云数据中心投资的核心因素,近期, 远程教育、远程办公、远程医疗和工业互联网需求崛起,对服务器需求快速放量。 中游:超大型数据中心、边缘数据中心是云计算核心基础设施,是云计算的物理载体。目前, 国内专业 IDC 服务商主要分为:三大电信运营商、第三方 IDC 服务商和云计算服务商。运 营商由于历史原因,在核心城市拥有大量带宽资源和机房资源,资本实力雄厚,是过去 IDC 建设主要力量。第三方 IDC 服务商拥有自身的优势土地及能耗资源,同时也提供数据中心托 管及增值服务,是国内 IDC 资源供给的重要补充,主要包括世纪互联、光华新网、数据港、 万国数据、奥飞数据等。云计算服务商多采用自建 IDC、租用或定制化 IDC 的模式进行 IT 设备部署,典型包括阿里、腾讯、亚马逊 AWS、华为云、金山云等。 表 1:数据中心使用的主要设备:包括 IT 设备、制冷设备和供电系统等 本报告版权属于安信证券股份有限公司。 7 各项声明请参见报告尾页。
8 . 行业深度分析/通信 IDC 分类 主要设备 主要发展方向 设备 服务器类 例如机架式、刀片式(含机框)或塔式等服务器 选用高密度、高性能、低功耗主设 IT 设 存储类 包括磁盘阵列、SAN(存储区域网络)交换机等存储设备,以及磁带库、虚拟带库等备份设备 备,引入 NFV、SDN 和 AI 等新技 备 网络类 包括交换机、路由器,以及防火墙、VPN(虚拟专用网络)、负载均衡等各类专用网络设备 术 IT 支撑类 主要包括用于运行维护的监控管理等设备 室内空调设备 包括机房专用空调、行间制冷空调、湿度调节设备等 优化机房的冷热气流布局,采用精 提供冷源的设备 包括风冷室外机、冷水机组、冷却塔、水泵、水处理等 确送风、热源快速冷却等措施,运 温控 用微模块产品、液态制冷、 设备 新风系统 包括送风、回风风扇、加/ 除湿设备、风阀等 冷热通道隔离、液冷服务器、自然 冷却系统 采用新能源和市电的低压直供,引 供配电系统 通常由变压器、配电柜、发电机、UPS、HVDC(高压直流)、电池、机柜配电单元等设备组成 入高频模块化 UPS、分布式 HVDC、高送风地板等 其它消耗电能的基础设 包括照明设备、安防设备、灭火、防水、传感器以及相关数据中心建筑的管理系统等。 施 资料来源:工信部、中国电子技术标准化研究院、中国电子学会等 上游:IDC 由基础设施和硬件设备构成,包括上游土地、建筑物及配套、IT 设备(服务器、 交换机、路由器、光模块/光纤光缆及最上游的光电芯片/通用芯片等)、电力设备(UPS、变 压器等)、制冷设备、机柜和光纤光缆等。其中服务器/网络设备、光模块将在云计算基建 ICT 支出中占有较大比例。另外,以精密空调为代表的温控设施是上游云计算基础设施的核心保 障。一般定制化的 IT 硬件成本主要由下游客户承担,未来无论是下游客户自身需求还是政 策驱动,都需要数据中心满足高密度、低 PUE、快速按需部署的要求, IT 设备、温控设备 均亟待升级。 图 3:云数据中心产业链 资料来源:安信证券研究中心整理 其中,温控设备是 IDC 硬件设施稳定运行的基础保障。温控设备商直接或通过长期合作的系 统集成商提供给数据中心业主/运营商,为阿里、腾讯以及联通、电信、移动等用户的大型数 据中心提供高效节能的制冷系统。除温控节能系统外,温控设备商可能按客户要求提供模块 化数据中心系统、边缘数据中心等整体散热方案。 精密温控节能设备又可简称为精密空调,主要应用于电子电器设备工作环境控制,以保 本报告版权属于安信证券股份有限公司。 8 各项声明请参见报告尾页。
9 . 行业深度分析/通信 护设备可靠性、提高效率、降低运营成本为诉求。而普通的家用空调主要面向人居环境, 以保护健康、提高工作效率和生活质量为目的。精密空调在空气循环、热管理、热稳定 性等方面都有比普通家电更高的要求。 表 2:精密温控节能设备的特点 项目 设备精密温控节能设备 人居舒适型空调 面向设备工作环境,以保护设备可靠动作,提高效 人居环境,以保护身心健康,提高工作效率,生活 应用领域 率,减少运行成本为诉求 质量为目的 要求的空间环境各个参数均匀性高,单位时间空气 空气循环 对整个空间均匀性要求不高,循环次数小 循环次数大 热管理 以热管理为主,设计具有高显热比,小焓差特性。 湿负载比例较大,设计具有低显热比,大焓差特点 热稳定性 温度波动≤±1℃ 一般控制在±3℃~5℃ 按卫生及舒适要求,控制在 40%~65%RH,范围 湿度管理 环境对湿度精度要求高,要求设定湿度±5% 宽 运行环境:-40℃~ +45℃工作制式:“24 小时×7 运行环境:-5℃~+45℃工作制式:“8 小时×7 天” 运行环境 天”持续运行 间歇运行 设计寿命 较长 较短 可靠性 满足无人值守工作需求,可靠性要求高 可靠性相对较低 资料来源:英维克招股说明书、安信证券研究中心 1.2.2. IDC 建设需要满足高密度、低 PUE 和快速部署三大要求,模块化和液冷散热成为重 要的技术创新点 信息“新基建”能耗总量不亚于老基建,数据中心是耗电大户,节能减排成为各国政府政策 指导重点。根据 ICT research 统计,全球过去五年服务器的电力消耗超过了 20 座 1000MW 发电厂的发电总量。2017 年,全球各地运行的 800 万个数据中心消耗了 416.2 太瓦时(1 太瓦时≈10 亿度电)的电力,约为全球总用电量的 2%,预计到 2020 年将达到全球用电量 的 3~4%。 根据中国数据中心节能技术委员会统计,2017 年中国数据中心总耗电量为 1200~1300 亿千 瓦时,超过三峡大坝、葛洲坝电厂 2017 年全年发电量之和(约 1200 亿千瓦时),占全国总 用电量的 2%左右。2018 年中国数据中心总耗电量为 1608.89 亿千瓦时,占全国总用电量比 例提升到 2.35%。未来 4 年(2020 年至 2023 年)中国数据中心总用电量将增长 65.82%, 预计 2023 年中国数据中心总用电量 2667.92 亿千瓦时。另据咨询机构 IDC 预测,到 2020 年,中国数据中心耗电量就将增至 2962 亿千瓦时,2025 年更高达 3842.2 亿千瓦时,这一 预测收据比上述节能技术委员会预测数据更显现出中国数据中心能耗问题的紧迫性。 随着 CPU、FPGA、GPU 等核心芯片算力的增强,服务器单机柜功率密度持续提升。在 2019 年中国 IDC 产业年度大典上,阿里巴巴表示 2019 年多节点服务器以及基于 GPU、FPGA、 ASIC 等 AI 服务器出货逆势增长,算力、设计功耗值不断提高,导致单机柜功耗持续增长, 2015~2019 年典型机柜的功率已经从约 12 千瓦上升到 15 千瓦左右,高功耗机柜的功率也 从 32 千瓦上升到 39 千瓦左右。未来, IDC 耗电量或将会达到全社会耗电量的 3~4%,督 促“新基建”节能减排、提升数据中心 PUE 能耗比成为国家政策关注的重点。 图 4:中国 IDC 耗电量历史及预测 图 5:中国 IDC 单机柜功率密度分析及预测 本报告版权属于安信证券股份有限公司。 9 各项声明请参见报告尾页。
10 . 行业深度分析/通信 资料来源:工信部、中国电子技术标准化研究院、中国电子学会等,安信 资料来源:工信部、中国电子技术标准化研究院、中国电子学会等,安信 证券研究中心 证券研究中心 PUE:衡量 IDC 能效技术与节能水平的核心指标是 PUE(能源使用效率 Power Usage Effectiveness),PUE=该数据中心总设备能耗/该数据中心 IT 设备能耗,PUE 越接近 1 则能效越好。 能效问题成为中国大型 IDC 建设的核心痛点,精密温控设备是主要矛盾。根据工信部 2015 年《国家绿色数据中心试点工作方案》,中国数据中心当时 PUE 普遍大于 2.2,而美国 IDC 平均 PUE 已降到 1.7 以下。而到了 2018 年,咨询机构 IDC 指出当年全球数据中心平均 PUE 为 1.58,先进数据中心 PUE 已降至 1.2 以下,而我国 85%以上数据中心 PUE 仍处于 1.5~2.0 之间。虽然我国近年新建的大规模数据中心 PUE 有所降低,但整体与国际水平相比还存在 较大差距。我们认为,未来外部政策规范和企业自身降耗需求双轮驱动,将促使国内 IDC 摆 脱“数字地产”的简单发展模式,数据中心用于提升能效比方面的投资有望大幅增加。 表 3:数据中心当前能耗问题分类 问题 IT 设备 制冷系统 供电系统 资源过度供应 按照上限配置设备 强制通风方式盲目散热 按照最终的容量配置 资源利用率低 平均利用率 30%左右 至少过度供应一倍以上 设备利用率 30%~40% 设备完全隔离,不能合理调度, 资源不能动态调节,低密 资源孤岛现象 不能动态调节和共享 甚至工作在相反的制冷和加热 度机架容量富余,高密度 状态 机架不能满足要求 没有测量尺度 无法测量工作量大小,无法动态调节 不了解发热状况和温度分布,只能盲目送风、 “移动空气” —— 固定运营费用 能耗固定,不能按资源 设备启动后的电费是固定的, 设备启动后的电费是固定 (计费方法) 实际使用量来计费 不能按需调整 的,不能按需调整 系统不断复杂,设备数量和 数量迅速增长 服务器用量剧增、服务器“蔓延” 机房散热设备数量和容量不断增加 容量不断增加 基本上是刚性的设备,几乎 应变能力差 不能保持与业务需求变化同步 基本上是刚性的设备,几乎没有应变能力 没有应变能力 占用大量经费预 占用大部分预算,几年就超 运行费用日益增加,降低添置新设备能力 占用大部分预算,几年就超过购置费用,难以按需扩展 算 过购置费用,难以按需扩展 资料来源:工信部,中国电子技术标准化研究院等,安信证券研究中心 外部政策驱动:2010 年后,我国云计算产业进入加速发展阶段,数据中心能耗问题迅速得 到从中央到地方各级政府的重视,对 PUE 限制日益趋严。2013 年底,国内数据中心最集中 的北京市十部委就率先联合发文禁止 PUE>1.5 的数据中心建设投产。2014 年 3 月,工信部 发布《关于进一步加强通信行业节能减排工作指导意见》规定从 2016 年后新建大型数据中 心的 PUE 值必须<1.5。随着数据中心能耗限制政策陆续推出,到了 2019 年 2 月,工信部、 国家机关事务管理局、国家能源局联合发布《关于加强绿色数据中心建设的指导意见》,明 确到 2022 年全国新建大型、超大型数据中心的 PUE 值(电能使用效率)不得高于 1.4。近 10 年来不断出台的政策引导效果显著,根据咨询机构 IDC 发布的《2019 中国企业绿色计算 与可持续发展研究报告》,PUE 值大于 2.0 的中国企业从 2012 年的 34.6%占比下降到 2019 年的 2%,我们认为,未来中国数据中心能耗水平将快速向欧美国家靠拢。 表 4:国家层面对数据中心“节能减排”政策汇总 本报告版权属于安信证券股份有限公司。 10 各项声明请参见报告尾页。
11 . 行业深度分析/通信 时间 发布部门 政策 主要内容 明确提出“重点推广绿色数据中心、绿色基站、绿色电源,统筹数据中心布局、服务 器、空调等设备和管理软件应用,选址考虑能源和水源丰富的地区,利用自然冷源等 2012.02 工信部 《工业节能“十二五”规划》 降低能源消耗,选用高密度、高性能、低功耗主设备,积极稳妥引入虚拟化、云计算 等新技术;优化机房的冷热气流布局,采用精确送风、热源快速冷却等措施 《2012 年工业节能与综合利 2012.05 工信部 提出推动信息技术促进节能降耗。 用工作要点》 《关于进一步规范因特网数据 进一步完善了 IDC 业务准入要求。监管政策降低了 IDC 市场准入门槛,促进 IDC 市 2012.11 工信部 中心业务和因特网接入服务业 场健康快速发展。 务市场准入工作的通告》 工信部、发改委、国土 《关于数据中心建设布局的指 促进数据中心选址统筹考虑资源和环境因素,推进资源集约利用,提升节能减排水平; 2013.01 部、电监会、能源局 导意见》 出台适应新一代绿色数据中心要求的相关标准,优化机房的冷热气流布局,采用精确 《工业和信息化部关于进一步 送风、热源快速冷却等措施,从机房建设、主设备选型等方面降低运营成本,确保新 2013.02 工信部 加强通信业节能减排工作的指 建大型数据中心的 PUE 值达到 1.5 以下,力争使改造后数据中心的 PUE 值下降到 2 导意见》 以下。 提出到 2017 年,围绕重点领域创建百个绿色数据中心试点,试点数据中心能效平均 《关于国家绿色数据中心试点 2015.03 工信部、国家能源局 提高 8%以上,制定绿色数据中心相关国家标准 4 项,推广绿色数据中心先进适用技 工作方案》 术、产品和运维管理最佳实践 40 项,制定绿色数据中心建设指南。 明确“积极引领新兴产业高起点绿色发展,大幅降低电子信息产品生产、使用能耗及 2015.05 国务院 《中国制造 2025》 限用物质含量,建设绿色数据中心和绿色基站,大力促进新材料、新能源、高端装备、 生物产业绿色低碳发展” 。 在第一批遴选工作中划定了北京、上海、广东、天津、河北、江苏等 14 个试点地区, 2015.10 工信部、国家能源局 国家绿色数据中心遴选工作 并且在生产制造、电信、公共机构、互联网、金融、能源 6 个重点领域中评选出 49 家数据中心。 《国家绿色数据中心试点工作 为指导和规范绿色数据中心试点单位开展节能环保监测工作,确保试点创建有序开 2016.06 工信部 方案》 展。 加强机房节能管理,建设机房能耗与环境计量监控系统,对数据中心机房运行 《公共机构节约能源资源“十三 状态及电能使用效率(PUE) 、运行环境参数进行监控,提高数据中心节能管理水平。 2016.06 国管局 五”规划》 开展绿色数据中心试点,实施数据中心节能改造,改造后机房能耗平均降低 8%以上, 平均 PUE 值达到 1.5 以下。 《工业绿色发展规划 2016.07 工信部 明确提出要加快绿色数据中心建设。 (2016-2020 年) 》 《 “十三五”国家信 规划指出积极推广节能减排新技术在信息通信行业的应用,加快推进数据中心、基站 2016.12 国务院 息化规划》 等高耗能信息载体的绿色节能改造。 进一步推广云计算技术应用,新建大型云计算数据中心能源利用效率(PUE)值优于 《 “十三五”节能减排综合工作 2017.01 国务院 1.5。支持技术装备和服务模式创新。打造一批节能环保产业基地,培育一批具有国 方案》 际竞争力的大型节能环保企业。 《关于加强“十三五”信息通信 提出要“着力推动国家绿色数据中心试点建设”和新建大型、超大型数据中心的能耗 业节能减排工作的指导意见》 效率值达到 1.4 以下;新能源和可再生能源应用比例大幅提升。 2017.04 工信部 《云计算发展三年行动计划 在发展目标方面从产业规模、行业应用、绿色节能、标准制定、企业发展、安全保障 (2017-2019 年) 》 等方面,提出未来三年的总体目标。 《关于组织申报 2017 年度国家 首次将数据中心、云计算、大数据、工业互联网等新兴产业纳入国家新型工业化产业 2017.08 工信部 新型工业化产业示范基地的通 示范基地创建的范畴,并提出 2017 年度优先支持新兴产业示范基地的创建。 知》 《关于加强绿色数据中心建设 明确到 2022 年全国新建大型、超大型数据中心的 PUE 值(电能使用效率)不得高于 2019.02 工信部、国家能源局 的指导意见》 1.4。 资料来源:工信部等部委,安信证券研究中心 本报告版权属于安信证券股份有限公司。 11 各项声明请参见报告尾页。
12 . 行业深度分析/通信 表 5:各省市对数据中心相关政策汇总 省市 时间 政策 主要内容 《北京市新增产业的禁止 明确规定全市禁止新建和扩建互联网数据服务、信息处理和储存支持服务中的数据中心,PUE 值在 2018.09 和限制目录(2018 年版) 》 1.4 以下的云计算数据中心除外;中心城区全面禁止新建和扩建数据中心。 北京 《北京市“十三五”时期 2016.12 推进京津冀云计算数据中心统筹规划布局和共建共享,鼓励开展异地容灾备份。 信息化发展规划》 《关于加强上海互联网数 在 PUE 方面,新建互联网数据中心 PUE 值严格控制在 1.3 以下,改建互联网数据中心 PUE 值严格 2019.01 据中心统筹建设的指导意 控制在 1.4 以下;总量方面,到 2020 年上海市互联网数据中心新增机架数严格控制在 6 万架以内。 见》 《上海市节能和应对气候 上海 2017.03 严格控制新建数据中心,确有必要建设的,必须确保绿色节能。 变化“十三五”规划》 做好空间、规模、用能的统筹,重点打造若干保障城市基础功能及战略定位的数据中心集群。做好 《上海市大数据发展实施 2016.09 规划、建设、管理的统筹,严格控制政府部门新增数据中心建设,引导规范重点行业、大型企业数 意见》 据中心建设。 《天津市加快推进智能科 建设完成全市政务服务大数据中心及“津云”政务云平台,为全市提供统一的政务信息资源服务, 天津 2018.01 技产业发展总体行动计 加快推进市民卡“一卡通”建设,搭建集中统一的人力社保数据中心和数据库,实现业务信息共享 划》 和协同联动。 《重庆市大数据发展工作 依托两江国际云计算产业因统筹全市数据中心发展,建设绿色环保、低成本、高效率、基于云计算 重庆 2016.08 方案(2016-2018 年)》 的大数据基础设施,重点引进和培育国家级基础数据储存中心、容灾备份中心和行业应用数据中心。 《河北省信息服务业“十 引导大型云计算数据中心优先在一类和二类地区建设,鼓励已投入运行数据中心进行资源整合,利 河北 2017.07 三五”发展规划》 用云计算和绿色节能技术进行升级改造,提高能效和集约化水平。 《关于数据中心节能审查 PUE1.4 以上的数据中心不享有能源消费的支持;而 PUE 低于 1.25 的数据中心则可享有能源消费量 深圳 2019.04 有关事项的通知》 40%以上的支持。 资料来源:各地政府官网,安信证券研究中心 企业自身降耗需求:新建数据中心采用低 PUE 设计方案,有利于大幅降低数据中心的 Opex (运维支出)。温控设备技术含量提升和 IT 设备自身节能方案升级是主要趋势。根据工信部 统计,在数据中心全生命周期内的 Opex 中,约 75%以上都是能源成本,而单单散热系统(空 调)所用电费在其中占 40%左右。相较而言,按照数据中心通常规划的 15~20 年投资回收 期算,累计 Opex 通常是建设成本的 4 倍以上,采用低 PUE 设计方案,有利于大幅降低数 据中心的 Opex。 与 PUE 指标关系密切的散热系统成本估计占新建数据中心配套设施建设成本的约 1/6。根据 IBM 统计,数据中心配套的初始建设中,电力、空调散热和土建的成本占到了数据中心配套 建设成本的 80%以上。其中,电力设备在数据中心建设中的占比 55.6%,是最主要的资本开 支。而土建装修占比为 21.2%,而与 PUE 指标关系密切的散热设备(为服务器、网络设备 及电力设备提供空调散热)占比第三,为 16.7%,核心设备一般 5 年进行更换替代。 我们认为,在 IDC 建设或改造中选用 PUE 更低的温控方案将成为国内 IDC 建设的必然选择。 ICT research 报告显示, 2018 年中国数据中心节能改造规模达到 85 亿元,其中,温控节 能设备市场规模达到 55.58 亿元。 本报告版权属于安信证券股份有限公司。 12 各项声明请参见报告尾页。
13 . 行业深度分析/通信 图 6:数据中心配套设施建设成本比例 图 7:散热负荷远远超过 IT 负荷 资料来源:IBM、安信证券研究中心 资料来源:HP,安信证券研究中心 目前,全球数据中心温控升级已形成了四大趋势,总结为“内外双修”,全方位改善能效情 况。外部改善,就是充分利用外部自然条件,一方面直接将数据中心建设在靠近自然冷源的 地方,例如深水湖泊、冰川甚至海底,此场景适合对即时性需求不高的数据处理。另一方面, 采用分布式低压供电或大量利用新能源,例如沙漠(风、光)和水库等,也能提升能效比。 而“内修”则是指从数据中心自身散热技术优化出发,在外部自然条件不变情况下实现 PUE 改善。随着 5G 到来,大量场景对数据处理实时性要求提升较多,甚至需要直接需要部署在 靠近用户的“边缘侧”,即超大型数据中心需尽量部署在核心都市圈,数据中心的“内功修 炼”必不可少,目前主要有模块化数据中心和液冷散热技术两个大“内修”方向。 图 8:数据中心提高能效的“内外双修” 资料来源:安信证券研究中心整理 根据咨询机构 IDC 发布的《2019 中国企业绿色计算与可持续发展研究报告》,在调查中国超 本报告版权属于安信证券股份有限公司。 13 各项声明请参见报告尾页。
14 . 行业深度分析/通信 过 200 家大型企业后,超过 50%的企业倾向于大规模部署模块化数据中心、并使用液体散 热等“绿色计算”技术。报告指出,有 85%的受访企业数据中心的能源使用效率仍然在 1.5~2.0 之间,这意味着未来仍有很大的提升空间,未来用于 IDC“模块化”和“液冷化”的设备市 场空间潜力巨大。 1.3. 微模块方案凭借灵活快速部署、低 PUE 优势成为收据中心主流选择之一 早在 2010 年前,Google 和 Facebook 就提出微模块数据中心概念。2012 年,我国互联网 公司开始尝试微模块数据中心建设。阿里云、腾讯云、景安网络等大力发展微模块标准,建 设的微模块数据中心包括阿里张北数据中心一号、二号园区、深圳坪山新区(腾讯、中兴通 讯和广东联通)等。 模块化数据中心由机柜、配电柜、UPS、精密空调、动环监控系统、冷通道、电池柜等组成, 组装在一个封闭空间中。多个具有独立功能、统一的输入输出接口、不同区域的微模块可以 互相备份,微模块的灵活排列组合,最终形成一个完整的数据中心。 快速部署:微模块将数据中心的建设由“工地”迁移到“工厂”,即通过工厂预制、现 场安装,可实现 40 天完成部署,大幅降低数据中心的建设周期。根据工信部信通院的 数据,微模块数据中心组建快速灵活,可按需部署,建设周期比传统机房缩短 50%,支 持即插即用,数据中心从设计到部署只要十几周即可完成。 绿色节能:微模块列间空调加冷(或热)通道封闭,具有低能耗的优势,已成为绿色数 据中心时代的一种趋势。 更集约,节省成本和占地:根据工信部信通院的估计,与传统的数据中心相比,模块化 数据中心可以最多节约 30%的成本,所占面积也可以减少多达 50%。 表 6:微模块数据中心主要优点 微模块优点 内容 从 UPS&电池房+空调房+IT 机房归一成 IT 机房,对大楼要求统一明确,统一接口。模块级按需建设,从按一个机房统一建设改为 一体化分布式部署 按一个微模块分期建设。20 个模块从下单到交付仅用 13 周,快速的 IDC 部署能力自适应快速发展需求。 一次规划,分期投资,快速部署。土建和 IT 建设分离,大楼主体及基础水电一次性建设完成,数据中心模块则按需灵活部署。数 模块与土建解耦 据中心模块各组件均为标准化产品并预留接口,可快速生产发货、现场快速组装,有效提高 ROI,Capex 下降 10%。 模 块内 部件 与 通道 结 构 灵活应对未来变化。服务器生命周期一般为 3-5 年,数据中心为 10-15 年,当未来一轮服务器配置变化,微模块灵活调整内部供配 件解耦 电和制冷的配比即可应对,大大提高微模块未来的可用性。 密封通道+冷冻水行级空 密封通道设计,隔离冷热气流,行级空调就近制冷、就近热量转移,消除局部热点,大幅提高制冷效率,现场测试 PUE 低至 1.5, 调降低 PUE 至 1.5 OPEX 降低 35%~40%。 单模块监控与集群监控提高运维效率。每个微模块部署一台触摸屏(带独立 NetEco 智能管理系统),连接到交换机,负责本模块的 智能管理架构 监控管理;同时提供北向 SNMP 接口,支持基于微模块的集群管理,界面清晰,大大提高运维效率。 资料来源:ICT Research,安信证券研究中心 在近年节能降耗政策驱动下,模块化数据中心在互联网、电信、金融、政府等各行业的应用 占比逐年提升。据 ODCC 统计,截止 2017 年底,国内微模块数据中心的部署量已从 2013 年的 300 套增长到 4500 套,相当于 5 万多个 20A 机架规模,预模块数据中心完成 9100 个 40A 整机柜的部署,相当于 1.8 万个 20A 标准机柜,模块化数据中心累计完成约 7 万个标准 机架的部署,容纳服务器能力超过 100 万台。微模块运行 6 年来安全稳定,平均 PUE 下降 了 0.2~0.4,运营成本降低 20%~40%。未来两年,根据工信部的标准,我国单个超大型数 据中心将产生超过 1 万个标准机架的散热需求,微模块行业将充分受益。 本报告版权属于安信证券股份有限公司。 14 各项声明请参见报告尾页。
15 . 行业深度分析/通信 图 9:数据中心微模块构成示意图 图 10:微模块优于传统 IDC 资料来源:英维克官网,安信证券研究中心 资料来源:安信证券研究中心整理 边缘数据中心——未来微模块应用不可忽视的新增长点。随着 5G、物联网、人工智能、VR/AR 等新型技术及应用的发展,未来数据中心的建设将呈现“云计算+边缘计算”结构。云数据 中心向超大型方向发展的同时,将涌现大量的边缘数据中心以保障边缘侧的实时性业务体验。 边缘计算需要在靠近用户的网络边缘侧构建业务平台,提供存储、计算、网络等资源,将部 分关键业务应用下沉到接入网络边缘,以减少网络传输和多级转发带来的带宽与时延损耗。 模块化数据中心可以更灵活的进行扩展和更换,充分满足边缘基础的建设需求。 微模块数据中心除了应用于传统数据中心机房的快速、高密度部署外,边缘计算用中小型机 房需求也将快速提升。在 2018MEC 技术与产业峰会上,中国联通称“5G 边缘 DC 到 2020 年将有 6000 到 7000 个节点,接入局端机房部署会更多,而数以万计的边缘机房是运营商 相对于 OTT 的绝佳优势资源”。在 2019 年 MWC 全球移动通信展上,中国联通宣布将在全 国 15 个省份大规模开展边缘云试点。凭借在已有的针对通信站点的机柜温控方案、集装箱 数据中心整体解决方案上的深厚积累,英维克等国内温控公司将在边缘计算数据中心的散热 和物理空间解决方案上获得先发优势。 国内微模块市场格局:龙头英维克、佳力图增长最迅速,国内品牌技术、市场规模有望逐步 向国际巨头靠拢。根据英维克招股书的数据,全球 2016 年精密温控市场中,艾默生市占率 达到 30.1%,佳力图市占率 13.0%,英维克市占率 8.3%。2016 年后,佳力图精密空调业务 收入快速增长,2016 年~2018 年增长了 31.24%,收入规模达到了 4.6 亿元。而英维克产品 销量也快速增长,机房温控业务收入从 2016 年 2.25 亿元增长到 2018 年 5.28 亿元,年化复 合增长率高达 53.19%。 英维克在 2013 年后开发的微模块列间空调产品契合数据中心模块化发展方向,获得阿里、 腾讯等互联网巨头的认可。英维克在针对模块化数据中心的 XRow 列间空调自被列入腾讯、 阿里巴巴的供应商短名单后得到大规模应用,并已成为众多模块化数据中心集成商的优选品 牌。2017 年末公司的 XSpace 微模块数据中心成功入围腾讯的微模块整体供应商名录,并 于 2018 年开始批量供货。未来,国内机房温控设备业务有望高速增长,市占率持续提升, 有望从市场和技术上逐步向外资巨头艾默生靠拢。 图 11:2016 年机房温控设备竞争格局 图 12:英维克机房温控节能设备收入快速增长(单位:亿 元) 本报告版权属于安信证券股份有限公司。 15 各项声明请参见报告尾页。
16 . 行业深度分析/通信 资料来源:英维克招股说明书,安信证券研究中心 资料来源:Wind,安信证券研究中心 1.4. 更集约、更节能的液冷服务器是下一个风口 根据 Google 分析,数据中心分摊到每年的总持有成本(TCO)主要由投资成本(CAPEX) 以及运营成本(OPEX)两大部分组成。其中 CAPEX 中主要由数据中心的土建和服务器组 成,云服务器是云数据中心核心的资本开支。 根据 Google 对云数据中心总拥有成本(TCO)的分析,在多个案例中(基于不同选址、服 务器档次、电费等假设),服务器(包括网络设备主机)折旧、电费和运维成本占据数据中 心 TCO 的主要部分。在典型的传统数据中心,约每月 TCO 成本中的 78%左右与服务器电 费、折旧和维护相关。 我们认为,未来全球新建/扩容云数据中心需求持续增加,资本开支抬升,将会明显增加服务 器需求量。同时,服务器作为核心 IT 设备,自身能耗和散热效率对 IDC 的整体 PUE 有决定 性作用,因此,优化并升级服务器自身散热能力将成为大趋势。 图 13:数据中心案例 A 成本分析 图 14:数据中心案例 B 成本分析 资料来源:Google,安信证券研究中心 资料来源:Google,安信证券研究中心 1.4.1. 液冷技术有望成为服务器散热标配 CPU 散热关乎服务器性能、成本和稳定性。有发表在“International Heat Pipe Conference” 研究论文指出,服务器单个 CPU 核温每提高 10℃,可靠性会降低 50%;55%的 CPU 宕机 是因为过热;服务器前部需要保持在 25℃以下,才能稳定工作。 本报告版权属于安信证券股份有限公司。 16 各项声明请参见报告尾页。
17 . 行业深度分析/通信 目前,用于服务器散热的空调因能源载荷高于 IT 设备,已成为决定数据中心 PUE 的关键要 素。根据 HP 统计,数据中心的能耗中仅有 33%用于 IT 负荷,而整体散热能源负荷能耗却 高达 63%,散热负荷已经远远超过了 IT 设备。目前,机房中散热空调的载荷主要来自主机 设备(包括服务器、存储、网络等) 、外部辅助设备,发热量约占机房总热量的 80%~95%。 而在主设备中,服务器所产生的热量约占 80%左右。降低 IT 设备的发热量,可更大幅度地 降低散热负荷,从而降低用于制冷设备的电力消耗,使得 PUE 降低。 目前,我国大部分数据中心仍然采用风冷技术进行降温处理,后续有待升级。 风冷散热是指通过散热器将服务器主板、CPU 等散发出的热量传递给散热器模块,然后 采用风扇或空调制冷的方式将热量吹走的一种散热方式。近些年,散热方案从传统的外 部机房空调,发展到直接风侧自然冷却的 AHU,再发展到间接风侧自然冷却的 AHU, 风冷系统的技术创新不断涌现,其中比较典型的有百度阳泉云计算中心等。但是,风冷 仍局限于以空气为冷媒,风冷热传导过程复杂,热阻总和大、换热效率较低、换热过程 高低温热源间温差较大,需要较低室外低温热源引导换热过程进行。 图 15:自然风墙的工作原理 图 16:百度云计算(阳泉)中心采用间接风侧自然冷却的 AHU 资料来源:天云数据中心,安信证券研究中心 资料来源:百度,安信证券研究中心 本报告版权属于安信证券股份有限公司。 17 各项声明请参见报告尾页。
18 . 行业深度分析/通信 图 17:风冷服务器和液冷服务器的比较 图 18:不同散热方案的可以实现的能效(纵轴为 PUE) 资料来源:IDC 圈,安信证券研究中心 资料来源:英维克,安信证券研究中心 随着我国数据中心能耗密度提高,传统的空气冷却散热系统已不能完全满足服务器散热需求。 之后,IDC 冷却技术也发展出了冷冻水自然冷、直接/间接蒸发冷却方案等方案,但直接与服 务器接触的冷媒仍然是空气。下一步,我们认为,液冷散热将凭借低能耗、高散热效率、低 噪音等优势有望取代风冷、成为主流。 液冷技术,就是直接将液体冷却系统导入服务器内部散热,甚至把服务器等需要散热的 设备直接放入冷却液中(矿物油或者氟化液等传输介质)。热量通过液冷主机传递,再 通过室外冷却塔将热量散发到空气中。由于液体比空气的比热容大得多,制冷效率远高 于风冷散热,并且由于省去了风扇,也可达到降低噪音的效果。服务器也因此实现了高 密度、低噪音、低传热温差、全年自然冷却的效果。 (根据《UPS 应用》期刊)液冷服务器的 CPU 核温比风冷极限温度可低 20~30℃,可靠性 将大大提高。液冷服务器不用压缩机制冷,使得整个系统全年 PUE 值下降到 1.2 以下,同 时服务器 CPU 可超频运行,计算性能可提高 12%。液冷与风冷的性能对比见下表: 表 7:液冷和风冷服务器的性能对比 方案 媒介 散热效率 冷媒接触方式 PUE 要求冷媒温度 比热容 动力设备 噪声 液冷每单位体积 可以降到 1.05 以下, 液冷比热容>风冷,能吸收大 去离子水、 小,可达 所传输的热量 以曙光的“硅立方”为 量的热量而保持温度不会有 泵,节省了 矿物油或者 冷媒只要能达到 到“静音 液冷 (散热效率)比 直接接触热源 例,其 PUE 值不超过 明显的变化,突发的操作不会 电费和耗 氟化液等液 20~25℃ 机房”的 风冷比空气强 1.04,相比风冷数据中 引起 CPU 内部温度瞬间大幅 能。 体 效果 1000~3000 倍, 心能效比提升超 30%。 度的变化,因此能允许 CPU 适应高密度数据 进行超频工作,计算性能可提 中心 超过一半的耗能都用 空调冷风口需达 高 12%,节省服务器的数量。 风扇噪声 风冷 空气 间接 风扇、空调 于冷却,普遍超过 1.3 到 18~20℃ 大 资料来源:安信证券研究中心整理 液冷方案优势明显,海外云计算巨头逐步采用液冷技术。2018 年,Google 宣布将在其数据 中心采用液冷技术,并表示今后其数据中心的降温方式将向液冷方向转变。微软、英特尔、 IBM、HP 等公司也已经在液冷技术领域布局。咨询机构 IDC 在 2016 年 3 月以美国各类数据 中心运营商为对象实施的问卷调查中,有高达 42%的受访者表示其数据中心采用了液冷技术, 并且液冷技术的采用率还在不断增长。 美国数据中心运营商采用液冷方案有两大核心的诉求:1、芯片功耗大幅上升。AI 芯片的功 耗比传统的 CPU 芯片功耗大数倍,采用传统的风冷方案越来越困难和不经济;2、降低运行 费用。液冷方案可以用液体冷却芯片,减少了换热级数,可以 100%实现自然冷却,空调系 统的能耗可以大幅降低。 目前,全球高密集度、高供电密度的超大型数据中心已逐渐采用液冷技术。根据咨询机构 IDC 预测,抛开传统的大规模数据中心不计,未来有大概 20%的边缘计算数据中心也将采用液冷 本报告版权属于安信证券股份有限公司。 18 各项声明请参见报告尾页。
19 . 行业深度分析/通信 技术。Research And Markets 数据显示,到 2023 年,全球液冷数据中心市场规模将达 45.5 亿美元,年复合增长率将达 27.7%。国内外主流厂商都在推进液冷技术研究,除了美国的部 分公司外,国内以曙光节能、阿里为代表的厂商也陆续推出了系列液冷产品。 表 8:数据中心液冷与风冷的比较分析 优势 指标 风冷 冷板式 浸没式 PUE 1.6 1.3 以下 1.2 以下 节能 数据中心总能耗 单节点均摊 1 0.67 0.58 成本低 数据中心总成本 单节点均摊(量产后) 1 0.96 0.74 功率密度(kW/ 机柜) 10 40 200 省地 主机房占地面积比例 1 1/4 1/20 CPU 可靠性 核温(℃) 85 65 65 机房环境 温度、湿度、洁净度、腐蚀 性气体(硫化物、盐雾) 要求高 要求高 要求低 资料来源:工信部,中国电子技术标准化研究院等,安信证券研究中心 表 9:高能耗密度的数据中心将率先采取液冷方式,浸没式成为首选 每平米功率 数据中心密度 制冷方式 1.2 KW/ 机柜 以下 超低密度数据中心 房间级 - 风冷 1.2 - 2.7 KW/ 机柜 低密度数据中心 房间级 - 风冷 2.7 - 7.5 KW/ 机柜 中、低密度数据中心 行间级 - 风冷 / 水冷 7.5 - 18 KW/ 机柜 中、高密度数据中心 行间级 - 水冷;液冷 - 冷板式 18 - 30 KW/ 机柜 高密度数据中心 液冷 - 冷板式;液冷 - 浸没式 资料来源:工信部,中国电子技术标准化研究院等,安信证券研究中心 全浸没式液冷式服务器将成为未来技术大方向。液冷主要有冷板、浸没和喷淋 3 种技术路线, 冷板式液冷目前已经得到了较多的商业应用案例(例如神威太湖之光),而全浸没式液冷将 是超高能耗密度 IDC 发展的大方向。 图 19:冷板式液冷服务器原理图 图 20:全浸没式液冷服务器原理图 资料来源:IDC 圈,安信证券研究中心 资料来源:IDC 圈,安信证券研究中心 表 10:浸没式液冷技术分类 分类标准 名称 主要特征 优点 缺点 单相液冷 利用液体的温升换热 液体沸点高,与元器件兼容性较好 散热效率较低 液体散热方式 控制相对复杂。对容器要求较高;冷却 两相液冷 利用液体的汽化带走热量 相比无相变而言,散热效率较高 液易受污染 本报告版权属于安信证券股份有限公司。 19 各项声明请参见报告尾页。
20 . 行业深度分析/通信 单片浸没 将单片服务器置于液体中 技术难度较低 用户维护性较低 产品形态 池级浸没 将多片服务器置于液体中 用户维护性较高;适用于高密度设备 技术难度较高 资料来源:安信证券研究中心整理 目前,国内液冷服务器标准得到了阿里、腾讯等云计算厂商的推动,中科曙光、浪潮信息等 服务器厂商和以英维克为代表的温控解决方案商都纷纷跟进,近年来得到了快速发展。2020 年 1 月 6 日,ODCC 与阿里在北京举办了“浸没式液冷数据中心开源发布会”。会上,阿里 宣布正式开放“浸没式液冷数据中心技术规范”,指出基于自主研发的液冷、深层水冷等技 术,数据中心能效的整体节能效果超过 70%,浸没式液冷数据中心已经全面应用于张北数据 中心,将每万笔电商交易的耗电量控制在 2 度电以内,实现“绿色双 11”的目标。 阿里:2016 年,阿里就推出了全球首台浸没式液冷服务器,并于 2018 年投产后,在阿 里张北数据中心中建成了全球首个上千台机柜规模的浸没式液冷服务器集群。2020 年 1 月,阿里巴巴宣布将“浸没式液冷数据中心技术规范”向全社会开放。目前,阿里巴巴 正在主推“麒麟数据中心解决方案”,采用的服务器是典型的两相浸没式液冷,冷媒吸 收元器件的热量后沸腾气化,气体上升遇到冷凝板液化落回主机柜中循环利用,热量在 几乎零功耗的情况下被冷凝管传递出去。“麒麟”解决了服务器系统、制冷系统、冷却 材料等多个领域的难题,无需使用空调等大型制冷设备,PUE 值逼近理论极限 1.0 值, 并且对空间和周边环境的依赖程度低,可以节省空间 75%以上。另外,在计算能力方面, “麒麟”单位体积内的计算能力比过去提升了 10 倍。 图 21:阿里巴巴浸没式麒麟服务器 图 22: 阿里巴巴液冷服务器集群 资料来源:阿里巴巴,安信证券研究中心 资料来源:阿里巴巴,安信证券研究中心 中科曙光:根据曙光节能总工程师沈卫东在“对话‘液冷’数据中心的未来”论坛发言 指出,曙光从 2011 年开始数据中心“液冷”技术的研发。2015 年,曙光率推出了国内 首款标准化量产的冷板式液冷服务器 TC4600E-LP,并在当年完成了国内首个冷板液冷 服务器大规模应用项目。2017 年,曙光又交付了国内首套商用 I620-M20 全浸没液冷服 务器,并在 2019 年完成了国内首个“刀片式浸没相变液冷技术”液冷服务器大规模应 用项目 C8000 系列,其单机柜功率密度达到了 160kW,PUE 值达到 1.05 以下,相比 传统风冷数据中心可以节电超过 30%。2019 年 6 月的 ISC2019 大会上,曙光又展示了 新一代硅立方超级计算机,PUE 值小于 1.04,单机柜功率进入 160KW 时代。同时,曙 光推出的 E 级超算原型机也采用了全浸没式液冷技术。 图 23:曙光“刀片式浸没相变液冷”服务器(局部) 图 24:曙光全浸没相变液冷样机 本报告版权属于安信证券股份有限公司。 20 各项声明请参见报告尾页。
21 . 行业深度分析/通信 资料来源:中科曙光、中新网,安信证券研究中心 资料来源:中科曙光,安信证券研究中心 浪潮信息:浪潮与中国移动南方基地合作“芯片级节能绿色数据中心建设方案”以传统 双路服务器浪潮 NF5280M4 为基础,成功将 PUE 值降到 1.2 以下。2018 年,浪潮推出 满足苛刻散热和静音要求的小型可移动的浸没式液冷超算 TS4220LC,采取浸没式液冷 技术。2019 年,浪潮与百度联合发布全球首款基于 OCP OAI 标准和液冷散热整机柜的 AI 计算新品 X-MAN 4.0。 图 25:浪潮与百度合作的超级 AI 计算平台 X-MAN4.0 图 26:浪潮与电工所合作的新型液冷 HPC 系统 资料来源:浪潮集团,安信证券研究中心 资料来源:浪潮集团,安信证券研究中心 英维克推出 XGlacier 服务器液冷解决方案,可采用冷板式液冷、浸没式液冷等服务器冷 却方式,可兼容利用余热回收,PUE 可低至 1.1 以下。英维克 XFlex 间接蒸发冷却系统 实现在安装空间和过程的解耦,安装周期可由 5-6 个月缩减至 1-2 个月;采用高效换热 系统,北方地区可实现数据中心 CLF 低于 0.1;支持侧装、顶置,垂直多层安装等多种 安装方式,应用更加灵活。 1.4.2. 2020 年云服务器出货量触底回升,行业整体景气周期向上 从服务器市场整体来看,5G 技术发展推动计算资源快速向云端服务器集中,促进大型云数 据中心基建回暖,另一方面,5G 将催生边缘计算从 0 到 1 的跃进,服务器市场有望迎来空 前机遇。此外,AI 算力需求的井喷,以及国内服务器市场自身进入更新周期拐点(3~4 年) 两大因素都将促使服务器行业重回景气周期。 图 27:中国服务器出货量及增速 图 28:全球服务器出货量及增速 本报告版权属于安信证券股份有限公司。 21 各项声明请参见报告尾页。
22 . 行业深度分析/通信 资料来源:IDC,安信证券研究中心 资料来源:IDC,安信证券研究中心 图 29:全球服务器营收及增速 图 30:2019 年全球服务器供应商市场份额 资料来源:IDC,安信证券研究中心 资料来源:IDC,安信证券研究中心 全球服务器行业增速每 4~5 年出现一次增速高峰。全球服务器行业从 2017 年的第三季度开 始加速增长,一直持续到 2018 年后,这一轮行业高景气是云基础设施需求拉动、服务器自 然更新周期、Intel 服务器芯片平台升级为 purely 平台三重因素驱动,但在 2019 年第一季度, 全球服务器行业发展速度开始略有下降。 根据咨询机构 IDC 的报告,全球服务器行业在 2017Q3 的增速为 22.30%,2017Q4 达到 28.37%,2018Q1 达到 38.26%,2018Q2 达到 42.69%,2018Q3 仍然保持 36.19%,而在 2018Q4 下降到 12.56%。从全球服务器行业历史数据可以看出,全球服务器行业存在 4 到 5 年左右的增长周期。 中国服务器行业增长周期为 3~4 年,中国服务器市场过去几年增速高峰分别为 2007 年,2011 年,2014~2015 年和 2018 年。根据咨询机构 IDC 报告,中国服务器行业在 2017 年增速达 到了 24.46%,在 2018 年则更是达到了 51.01%,但 2019 年由于中美贸易摩擦等因素,服 务器出货量大幅下滑,并已经过了多个季度的调整。我们预期 2020 年云基础设施的增量需 求使得本次景气高峰的增速超过以往。 本报告版权属于安信证券股份有限公司。 22 各项声明请参见报告尾页。
23 . 行业深度分析/通信 图 31:2012-2018 全球以太网交换机收入及增速 图 32:2012-2018 全球路由器收入及增速 资料来源:IDC,安信证券研究中心 资料来源:IDC,安信证券研究中心 1.5. 大型数据中心投资进入上升周期,国内温控行业空间巨大 1.5.1. 中美两国继续瓜分全球应用流量,两国数据中心基建投资加速 中美两大国互联网应用访问流量占据全球主要份额。根据 Visual Capitalist 公布的 2019 年 6 月全球流量 Top100 的网站数据,全球 100 个最大的网站产生了 2060 亿次访问。前三甲分 别是谷歌,YouTube 和 Facebook,随后是百度和维基百科。从国家维度看,Top100 的网站 中有 60 个是美国网站,中国有 14 个网站,是上榜网站第二多的国家。从公司维度看,谷歌 的母公司 Alphabet 是上榜网站最多的公司,旗下共有 11 个网站位列 Top100。 从移动应用(app)看,根据网络流量分析机构 Sandvine 发布的《2019 年全球移动互联网 现象报告》显示,在全球移动应用流量中 YouTube 占全球移动流量的 35%,占据全球移动 终端的核心位置,Facebook 阵营下的社交应用(Facebook/Instagram/Messenger/WhatsApp) 占世界范围内移动流量的 20%以上。 图 33:全球 Top100 网站 图 34:2019 年中的全球网页访问排名 资料来源:Visual Capitalist,安信证券研究中心 资料来源:Visual Capitalist,安信证券研究中心 4G 后周期全球移动流量仍持续增长,2019 年全球云巨头收入增长稳定。2020 年 2 月,亚 马逊公布财报,2019 财年公司实现营业收入 2805.11 亿美元,同比增长 20.45%。其中 AWS 云计算业务的收入达到 350.26 亿美元,同比增长 36.53%。2019Q4,亚马逊营收为 874 亿 美元,同比增长 21%,净利润为 32.68 亿美元,同比增长 7.96%,其中 AWS 的营收为 99.54 亿美元,同比增长 33.97%。根据中国第一大公有云巨头——阿里巴巴 2019 财年报告,全年 本报告版权属于安信证券股份有限公司。 23 各项声明请参见报告尾页。
24 . 行业深度分析/通信 阿里云业务收入为 247 亿人民币(约 36.81 亿美元),同比增长 84%,占阿里巴巴总营收的 比例为 7%;其中,2019 年 Q4 营收为 77.26 亿人民币,同比增长 76%。阿里巴巴称 2019 财年阿里已经云服务于中国超过一半的 A 股上市公司,未来将继续通过规模优势降低产品和 服务的定价。 图 35:亚马逊 AWS 营收(亿美元)及增速 图 36:阿里云营收(亿人民币)及增速 资料来源:公司公告,安信证券研究中心 资料来源:公司公告,安信证券研究中心 图 37:微软 Azure 营收(亿美元)及增速 资料来源:公司公告,安信证券研究中心 根据 Gartner 统计,2018 年全球公有云服务市场份额前五名基本稳定。亚马逊云(AWS) 和微软云(Azure)依旧是公有云市场两大主要玩家,分别占 47.8%和 15.5%的市场份额, 紧跟其后的是阿里巴巴(7.7%)和谷歌(4.1%)。AWS 几乎占据了全球一半的市场份额, 继续领跑全球 IaaS 市场。 本报告版权属于安信证券股份有限公司。 24 各项声明请参见报告尾页。
25 . 行业深度分析/通信 图 38:2017 全球公有云市场份额 图 39:2018 全球公有云市场份额 资料来源:Gartner,安信证券研究中心 资料来源:Gartner,安信证券研究中心 但从细节看,亚马逊 2018 年的公有云市场份额同比略有下降,从 2017 年的 49.5%降至 47.8%。微软相比 2017 年有大幅增长,其市场分额占比同比增长近 3 个百分点。阿里云以 92.5%的同比增速成为增长最快的公有云厂商,市场分额也上升 2.4 个百分点。而谷歌排在 第四位,相比 2017 年增长了 60.2%。IBM 则排在第五位,同比增长 24.7%,增幅弱于前四 大厂商。 表 11:2017~2018 年全球云计算服务商市占率 收入(百万美元) 市占率 公司 2018 增速 2017 2018 2017 2018 亚马逊 12221 15495 49.5% 47.8% 26.8% 微软 3130 5038 12.7% 15.5% 61.0% 阿里巴巴 1298 2499 5.3% 7.7% 92.5% 谷歌 820 1314 3.3% 4.1% 60.2% IBM 463 577 1.9% 1.8% 24.6% 其他 6768 7519 27.4% 23.2% 11.1% 资料来源:Gartner,安信证券研究中心 在中国公有云市场,阿里云仍然一家独大。根据咨询机构 IDC 数据,2019Q1 与 2017 年末 相比,我国公有云 IaaS 市场前三名排名保持不变,阿里仍然一家独大,拥有 43.2%的市场 份额,几乎占据半壁江山。排名第二的是腾讯云,占比 12.2%且市场份额占比上升了 2 个百 分点。排名第三的是中国电信,占比 8.4%。与之前相比,变化较大的是华为云与百度云的 上榜,这两家中国厂商以 5.2%的市场份额共同排名第六,超越了微软。 本报告版权属于安信证券股份有限公司。 25 各项声明请参见报告尾页。
26 . 行业深度分析/通信 图 40:2017 年我国公有云市场份额 图 41:截至 2019Q1 我国公有云市场份额 资料来源:IDC,安信证券研究中心 资料来源:IDC,安信证券研究中心 1.5.2. 2019 年云计算巨头资本支出触底,5G 新应用有望促进全球 Capex 回升 2019 年是云巨头在顶峰过后的“休整”,2020 年将进入新一轮 Capex 扩张周期。在 2017 年~2018 年,Google、亚马逊、微软、Facebook 四家北美云计算公司资本开支增速达到顶 峰。根据 Synergy Research 的数据,2018 年全球超大规模云数据中心运营商在新基础设施 上支出了 1200 亿美元,同比增长 43%。AWS、谷歌、微软、Facebook 和苹果公司,这五 家公司占到了 2018 年超大规模云数据中心资本支出的 70%以上。但 2019 年,由于部分互 联网公司的业务数据低于预期,全球互联网厂商云计算支出放缓,Capex 调整也传导到上游 芯片、设备市场。 全球云计算巨头 Capex 触底,5G 有望促进全球巨头 Capex 回升。2019Q4,亚马逊、微软、 谷歌、Facebook 四家云厂商的资本开支总和达到 181.43 亿美元,同比下降 2%,但环比增 长 12%,其中四家云厂商的资本开支分别为 39.40 亿美元、40.51 亿美元、60.52 亿美元、 41.21 亿美元,同比增速分别为 26%、2%、-15%、-6%,环比增速分别为 16%、58%、-10%、 16%。资本开支总体规模相较于前几季度有较大反弹,资本开支复苏拐点出现。国内云计算 厂商资本开支总体规模与海外云计算厂商相比规模差距较大,但增长势头强劲。 图 42:亚马逊资本支出及增速 图 43:微软资本支出及增速 资料来源:公司公告,安信证券研究中心 资料来源:公司公告,安信证券研究中心 本报告版权属于安信证券股份有限公司。 26 各项声明请参见报告尾页。
27 . 行业深度分析/通信 图 44:谷歌资本支出及增速 图 45:FACEBOOK 资本支出及增速 资料来源:公司公告,安信证券研究中心 资料来源:公司公告,安信证券研究中心 1.5.3. 中国数据中心保有量增长快于全球平均 根据 IDC 圈统计,2018 年全球 IDC 市场在云计算业务的带动下继续保持较稳定增长,整体 市场规模达到 6253.1 亿人民币,同比增长 23.6%,其中公有云(市场规模增速接近 30%) 是拉动 IDC 市场快速增长的主要原因。2018 年,中国 IDC 市场总规模为 1277.2 亿人民币, 同比增长 35%。同时,IDC 圈预测国内 IDC 市场的市场规模在 2019 年超 1900 亿人民币, 2016~2019 年复合增长率为 27.06%。 图 46:2014~2018 年全球 IDC 市场规模 图 47:2012~2018 年中国 IDC 市场规模 资料来源:Wind,安信证券研究中心 资料来源:Wind,安信证券研究中心 中国数据中心保有量增长快于全球平均,中国保有面积有望在 2030 年达到近 5000 万平米。 据 ICT Research 的数据,2016 年中国数据中心保有量约为 5.6 万个,总面积约为 1650 万 平方米,2017 年中国规模以上的数据中心保有量约为 5.9 万个,总面积超过 1800 万平方米。 预计到 2020 年,中国数据中心保有量将超过 8 万个,总面积将超过 3000 万平方米。到了 2030 年,中国 IDC 的保有面积有望达到接近 5000 万平米。 本报告版权属于安信证券股份有限公司。 27 各项声明请参见报告尾页。
28 . 行业深度分析/通信 图 48:全球和中国 IDC 保有面积及增速 图 49:全球和中国 IDC 新增面积及增速 资料来源:工信部、中国电子技术标准化研究院、中国电子学会等,安 资料来源:工信部、中国电子技术标准化研究院、中国电子学会等,安信证券 信证券研究中心 研究中心 1.5.4. 中国云计算巨头大型 IDC 投资与北美仍有差距,未来发展空间大 中国网络基建领先,但云基建和云应用水平仍然不如欧美,中国云计算巨头云数据中心建设 量有望逐步向北美公司看齐。目前,中国具有全球最庞大的移动用户数和全球最优的 4G 网 络覆盖。根据工信部的数据,中国移动用户的人均月度用户流量在 2019 年底超过 8.27GB, 距离发达国家水平仍有差距。我国互联网基础设施投资,包括 IDC 和网络设备投资仍然较依 赖于电信运营商。未来随着 5G 网络覆盖完善,中国互联网应用向 4K、VR/AR 发展,移动 流量仍有很大上升空间。目前中国互联网巨头 BATJ 云数据中心投资有望进一步向 AWS、 Google 等北美巨头看齐。 我国 IDC 市场结构中,电信运营商拥有核心区域大量机房资源,目前仍是 IDC 的主要提供 方:三大运营商占据了超过了 70%的 IDC 市场份额。第三方 IDC 公司在部分区域资源获取、 专业化服务等方面具有优势,预计云计算巨头自建和第三方 IDC 服务提供商的份额将持续扩 大。 图 50:2018 年我国运营商仍然占 IDC 市场主流份额 图 51:中国互联网巨头资本开支与北美公司仍有差距 资料来源:Gartner,安信证券研究中心 资料来源:各云计算公司公告,安信证券研究中心 国内云计算大步赶上,但中国超大型云计算中心数量仍然不足,未来将逐步向北美靠拢。根 据 Gartner 统计数据,全球大型数据中心数量在 2018 年将达到 43.6 万个,主要集中分布在 美国、中国、日本、欧洲等国家地区,其中美国在全球市场份额最大,目前已经占据全球 40% 的市场份额,而中国和日本位居其次,分别占有 8%和 6%。目前,中国最大的云服务厂商阿 本报告版权属于安信证券股份有限公司。 28 各项声明请参见报告尾页。
29 . 行业深度分析/通信 里云在全球 21 个地理区域内运营着 63 个可用区,超大规模数据中心遍布全球,国内超大规 模数据中心遍布在 10 个城市(青岛、北京、香港、深圳等)。 大型、超大型数据中心相对中小型数据中心具备明显的集约效应和成本优势。根据 Synergy Research 预期,全球 IDC 机架数量保持平稳,但 IDC 数量减少,即全球 IDC 投资将向超大 型数据中心集中,Synergy Research 认为 2017 年超大规模运营商运营的大型云数据中心的 数量接近 400 个。从全球分布来看,有 44%的互联网云数据中心是位于美国。其次是中国、 日本和英国,仅仅占总数的 20%。 图 52:2011-2018 美国数据中心投资额 图 53:2015-2018 全球数据中心、机架数量 资料来源:Synergy,安信证券研究中心 资料来源:Synergy,安信证券研究中心 根据工信部数据,截至 2017 年底我国在用数据中心的机架总规模达到了 166 万架,同比增 长了 33.4%。超大型数据中心共计 36 个,机架规模达到 28.3 万架,大型、超大型数据中心 的规模增速达到 68%。2017 年 6 月,腾讯技术工程事业群云数据中心负责人公开表示,目 前中国 BAT 三家互联网巨头所拥有的云数据中心服务器数量之和,尚不及美国亚马逊一家 公司的一半。 图 54:目前中国超大型云数据中心在全球占比仍然较少 图 55:2018 年全球数据中心市场份额 资料来源:Synergy Research,安信证券研究中心 资料来源:Gartner 安信证券研究中心 2. 5G 投资高峰即将到来,户外机柜温控设备大有可为 2.1. 中国 4G 基站建设全球领先,上游基站机柜温控设备龙头公司快速成长 本报告版权属于安信证券股份有限公司。 29 各项声明请参见报告尾页。