数据中心两相冷却的最新趋势是什么?
直接回答:两相冷却技术,特别是浸没式冷却和直接-to-芯片(冷板)冷却,正从利基研究概念过渡到主流部署,因为它们能够处理超过1,000 W/cm²的热密度,这是传统空气冷却无法实现的。浸没式冷却因其整体设施热回收和超高密度的优势而受到青睐,而直接-to-芯片冷却由于流体成本更低且维护更简便,是目前现有AI集群改造的首选方案。预计到2027年,超过20%的新建数据中心容量将采用某种形式的两相液体冷却,而2023年这一比例还不到5%。
两相浸没式和直接-to-芯片系统在操作上有何不同?
浸没式冷却将整个服务器(主板、CPU、GPU、电源)浸入介电介质液浴中。该液体在低温下沸腾(工程流体通常为50-60°C),在从液态变为气态时直接吸收热量。蒸汽上升,碰到罐盖中的冷凝盘管,再变回液态。这是一个被动、热虹吸驱动的过程,罐内无需泵。
相比之下,直接-to-芯片冷却使用直接安装在CPU或GPU芯片上的密封冷板。介电工作流体(通常是氟酮或专用制冷剂)流经板内的微通道。热量通过导热界面材料(TIM)传导到板中,使流体蒸发。然后蒸汽被输送到远程冷凝单元,这是一个独立的机架式换热器,将热量排放到设施水中。
关键的操作差异在于热路径。浸没式冷却的热路径较短(流体直接接触主板),但需要大容积的罐体(每个机架500-1,000升)。直接-to-芯片冷却通过TIM和冷板的路径较长,但使用的流体少得多(每个机架10-20升),并且可以在不排空罐体的情况下单独取出服务器。

真实的散热性能极限和温度是多少?
两相系统的散热性能由沸腾传热系数和系统的热阻决定。对于直接-to-芯片冷却,冷板可实现0.01°C·cm²/W或更低的热阻。这意味着在流体饱和温度为60°C的情况下,500W的GPU可以保持在75°C的结温。
浸没式冷却由于液池对流的影响,热阻略高,通常为0.02-0.04°C·cm²/W。然而,由于整个主板都被浸没,系统同时从电压调节器、内存和网络交换机散热,这是一个显著的优势。实际上,浸没式系统可以处理每个1U等效机箱2,000-4,000W的服务器热负荷,而直接-to-芯片冷却仅限于芯片面积,每个插槽处理1,000-2,000W。
流体饱和温度是主要的控制变量。对于典型的单相介电流体,沸点由流体化学性质决定。例如,3M Novec 649的沸点为49°C,而专用制冷剂如R1233zd(E)在18°C沸腾。工作温度必须与服务器组件限制相匹配;大多数现代CPU可以在85°C的外壳温度下运行,这比流体沸点高出25-30°C的余量。这个余量对于流体在不导致芯片过热的情况下蒸发至关重要。
哪些行业率先采用两相冷却?
主要的采用者是超大规模云服务提供商、AI训练设施和高频交易(HFT)公司。原因很简单:功率密度。一个标准的42U机架采用空气冷却可散热10-15kW。一个配备8x H100 GPU的AI训练机架可消耗70-100kW的功率。空气冷却无法在物理上移动那么多热量,除非使用会产生噪音和振动的巨大气流速度。
高频交易行业是2010年代初最早采用浸没式冷却的行业,因为他们需要对CPU进行超频以实现超低延迟(微秒级),而冷却余量允许更高的时钟频率。如今,石油和天然气超级计算领域使用浸没式冷却进行地震数据处理。增长最快的是AI领域,NVIDIA等公司已认证其A100和H100 GPU适用于直接-to-芯片和浸没式冷却。政府实验室和国家超级计算中心(例如EuroHPC JU)也为其百亿亿次级机器指定使用两相系统,这些机器需要30-60MW的冷却能力。

为什么选择浸没式冷却而不是直接-to-芯片?
当您的设施是新建或大规模棕地改造,且主要目标是最大化热回收或最大化机架密度时,请选择浸没式冷却。浸没式冷却可实现每个罐体100-150kW的机架密度。它还完全消除了服务器风扇,节省15-20%的服务器功耗。介电液体还能防止腐蚀和灰尘,将服务器使用寿命延长2-3年。
其操作优势在于冷凝回路。汽化后的流体在50-60°C的温度下冷凝,这意味着设施水回水温度可以达到45-50°C。这种高品位热量可直接用于建筑供暖、吸收式制冷机或区域供热网络,实现1.02-1.05的电源使用效率(PUE)。
缺点是流体成本和重量。一个42U浸没式罐体需要800-1,200升介电液体。按每升15-25美元计算,仅流体成本就达到每个机架12,000-30,000美元。罐体本身增加500-800公斤的重量,需要加固地板。
为什么选择直接-to-芯片冷却而不是浸没式?
当您拥有现有的风冷数据中心,并希望在无需更换整个设施架构的情况下改造AI服务器时,请选择直接-to-芯片冷却。直接-to-芯片冷却对服务器机箱的改动最小,只需新的冷板和流体连接。流体量小(每个机架10-20升),因此资本支出显著降低。
其可维护性更优。如果GPU发生故障,您可以关闭机架,断开流体管线,取出单个服务器,并在15分钟内完成更换。而在浸没式冷却中,您必须将整个服务器从液体中吊出,让其排液(需要20-30分钟),然后才能维修。直接-to-芯片冷却还支持混合操作:您可以对内存和存储保持空气冷却,仅对高功率CPU和GPU使用两相冷却。
主要缺点是您仍然需要为板卡上的其他组件提供风冷环境。这意味着您仍然需要CRAC机组,但可以缩小60-70%的规模。系统PUE通常为1.10-1.15,高于浸没式冷却,但远优于传统空气冷却的1.3-1.5。

系统组件和流体的成本差异是多少?
成本结构主要由介电流体和换热器决定。下表提供了200kW IT负载、10个机架部署的实际成本估算。
| 组件 | 浸没式冷却(每机架) | 直接-to-芯片(每机架) | 备注 |
| 介电液体(工程氟酮) | $15,000 - $25,000(800-1,200L,$15-25/L) | $2,000 - $4,000(20-40L,$80-100/L) | 直接-to-芯片使用更高纯度的流体 |
| 罐体/机箱 | $8,000 - $12,000 | $0(服务器机箱改装) | 浸没式罐体为定制焊接铝制 |
| 冷板和连接器 | $0(浸没式无需冷板) | $3,000 - $5,000(每台8-GPU服务器) | 直接-to-芯片冷板为镀镍铜制 |
| 冷凝单元(机架式) | $5,000 - $7,000 | $3,000 - $4,000 | 浸没式冷凝器更大(顶部安装) |
| 设施水回路集成 | $10,000 - $15,000 | $8,000 - $10,000 | 包括泵、阀门和干冷器 |
| 每kW初始总成本 | $190 - $295/kW | $80 - $115/kW | 基于每机架平均20kW |
| 年流体损耗(蒸发/泄漏) | 体积的3-5% | 体积的1-2% | 直接-to-芯片为密封回路 |
数据显示,由于流体体积的原因,浸没式冷却的初始成本是直接-to-芯片的2-3倍。然而,浸没式冷却在冷却能源上每kWh节省$0.01-0.02,并消除了风扇功耗,这可以在3-5年内抵消较高的资本支出。
流体管理和维护如何影响运维?
流体管理是最容易被忽视的运维挑战。在浸没式冷却中,流体随时间推移会因金属离子浸出和热分解而劣化。您必须每季度测试流体的酸度(pH值)、介电强度(必须>40 kV/mm)和水分含量。如果介电强度降至30 kV/mm以下,您必须更换流体或使用带活性炭的过滤系统。
对于直接-to-芯片冷却,流体处于密封回路中,但处于压力之下。您必须每6个月检查制冷剂泄漏(使用电子检漏仪)。芯片和冷板之间的导热界面材料(TIM)也会因热循环而劣化;您应每2-3年更换一次TIM,以保持0.01°C·cm²/W的热阻。
维护成本约为系统初始成本的每年5-8%。这高于空气冷却(3-4%),但低于GPU过热导致的停机成本,后者可能为每小时损失的计算时间$500-1,000。
两相冷却能否与现有风冷设施兼容?
可以,但有特定限制。直接-to-芯片冷却可对现有机架进行即插即用式改造,前提是您的设施有冷冻水回路(7-12°C)或冷凝水回路(30-35°C)。远程冷凝器可以将热量排放到40-50°C的设施水中。如果您的设施水温高于35°C,则需要安装辅助泵组和干冷器。
浸没式冷却的改造难度较大,因为罐体很重,需要加固的架空地板(至少1,500 kg/m²的承重能力)。您还需要在罐体周围设置防溢堤。大多数现有数据中心的楼板承重等级为600-800 kg/m²,因此您需要将罐体放置在均布荷载钢架上。
最实用的改造路径是在AI机架(占机架总数的20-30%)上部署直接-to-芯片冷却,其余部分保持空气冷却。这样您可以在不新建设施的情况下增加50-100kW的AI计算能力。
常见问题解答
两相冷却能处理的最大热通量是多少?
直接-to-芯片冷板可处理单个芯片高达1,000 W/cm²的热通量。浸没式冷却处理的热通量较低(最高100 W/cm²),但从更大的表面积散热。对于700W的GPU,需要直接-to-芯片冷却;浸没式更适合300-500W的CPU和高密度内存。
介电液体对电子元件安全吗?
是的,工程流体如氟酮和专用氢氟醚具有非导电性(介电强度>40 kV/mm),并且对焊料、PCB层压板和电容器具有化学惰性。它们也不易燃(ASDRA 1级)。它们可能溶解某些粘合剂和塑料,因此所有服务器组件都必须经过材料兼容性验证。
两相冷却系统的使用寿命是多久?
硬件(罐体、冷板、冷凝器)设计寿命为10-15年。然而,流体需要更换:浸没式每5-7年更换一次(由于污染),直接-to-芯片每8-10年更换一次(密封回路)。泵和阀门的平均故障间隔时间(MTBF)为50,000小时。
与空气冷却相比,PUE能改善多少?
典型的空气冷却设施的PUE为1.35-1.50。直接-to-芯片两相冷却可实现1.08-1.12的PUE。浸没式冷却可达到1.02-1.05的PUE,前提是废热得到再利用。较低的PUE直接转化为较低的运营成本和较小的碳足迹。
两相冷却能否用于电池储能系统?
可以,浸没式冷却正在电网储能锂离子电池组中进行测试。流体在快速充电时吸收热量,防止热失控。电池电芯温度保持在25-35°C,均匀性为±2°C,与空气冷却相比,循环寿命可提高20-30%。
在BQUQ,我们制造精密CNC加工冷板、浸没式罐体框架和用于两相冷却系统的定制散热器。我们在东莞拥有20年的经验,可以生产公差为±0.01mm的样品,并在12小时内交付紧急认证测试件。联系我们获取免费的冷却回路设计工程审查。邮箱:sc@bquq.com,WhatsApp:+86 13713157787,www.bquq.com。


