单机架集成72颗Rubin GPU:AI服务器为何正在从单机配置竞争走向整机架交付?-A5数据

产品知识 2026-11-18 Rubin GPU服务器,72颗GPU机架,NVIDIA HGX Rubin NVL8,AI服务器整机架交付,GPU服务器租赁

72颗GPU集中在同一个机架内,意味着什么?

对于传统服务器市场来说,72颗GPU并不是特别陌生的规模。按照每台服务器配置8颗GPU计算,9台服务器便能达到这个数量。但如果要求将这些设备全部集成在同一个机架中,并同时解决供电、液冷、高速互联、故障监控和整套系统的交付问题,难度就不再只是简单地增加服务器数量。

2026年11月18日,电子制造与服务器厂商仁宝电脑(Compal)公布了在美国芝加哥SC26超级计算大会期间展示的新一代AI基础设施方案。其中,基于NVIDIA HGX Rubin NVL8平台构建的液冷机架,最多能够集成9台OG231-2-L1服务器,合计搭载72颗NVIDIA Rubin GPU。

与此同时,仁宝还展示了面向AI Agent及高密度CPU计算的NVIDIA Vera处理器平台,相关整机架方案最高支持256颗Vera CPU。

这次展示的重点,并不是单独推出一款性能更强的GPU服务器,而是将计算节点、机架供电、液冷系统、网络互联和集中管理整合为更加完整的基础设施产品。

A5数据关注的一个变化是,随着GPU性能和功率密度持续提高,AI服务器市场的竞争正在从单台设备的配置参数,延伸到整个机架能否完成稳定交付。

对于数据中心运营商、GPU服务器租赁商和大型AI计算平台而言,这种变化可能直接影响未来的设备采购、机房建设及算力服务方式。

9台服务器组成72颗GPU机架,实际是什么架构?

根据仁宝发布的SC26官方资料,此次展示的核心产品是OG231-2-L1液冷GPU服务器。

该设备采用2U机箱,基于NVIDIA HGX Rubin NVL8平台设计,单台配置8颗Rubin GPU,并使用第六代NVLink高速互联技术。

如果在同一个机架内部署9台这样的服务器,便能形成72颗GPU的计算规模。

具体配置如下:

配置项目

官方公布的规格

服务器型号

Compal OG231-2-L1

GPU平台

NVIDIA HGX Rubin NVL8

单台GPU数量

8颗Rubin GPU

单台服务器高度

2U

单机架最大服务器数量

9台

单机架GPU总数

72颗

散热方式

直接液冷(DLC)

配套基础设施

机架供电、集中管理、液冷及泄漏保护

按照NVIDIA公布的平台规格,单套8-GPU Rubin NVL8系统在特定NVFP4推理精度条件下,理论计算性能最高可达400 PFLOPS。

NVIDIA还宣称,在特定AI Agent推理测试中,Rubin NVL8相较HGX B200能够提供最高约10倍的Token吞吐量。

但这属于厂商针对特定模型、计算精度和测试条件给出的性能指标,不能理解为所有AI任务的处理速度都会提高10倍。

此外,72颗GPU集中在一个机架,并不意味着它们自动变成一台拥有72颗GPU的单一服务器。

仁宝采用的是9台八GPU服务器组成的机架级方案,每台服务器仍然具有自己的计算系统和资源管理边界。

这一区别非常重要,因为不同的GPU互联方式,会直接影响模型训练和推理任务能够使用的计算资源。

同样是72颗GPU,NVL8机架与NVL72并不完全一样

在当前AI服务器市场中,NVIDIA HGX Rubin NVL8与Vera Rubin NVL72是两个容易被混淆的产品概念。

两者都可以涉及72颗Rubin GPU,但内部计算架构并不相同。

HGX Rubin NVL8的基本计算单元是8颗GPU。单台服务器内部通过NVLink 6实现高速互联,不同服务器之间则需要依靠高速网络进行跨节点通信。

而NVIDIA Vera Rubin NVL72采用专门设计的机架级计算架构,在一个机架中集成72颗Rubin GPU和36颗Vera CPU,并通过NVLink 6交换系统构建覆盖整个机架的72-GPU高速互联域。

NVIDIA官方技术资料显示,Vera Rubin NVL72由18个计算托盘和9个NVLink交换托盘组成,能够将72颗GPU组织为统一的机架级NVLink计算资源。

两种方案的主要区别如下:

对比项目

HGX Rubin NVL8机架

Vera Rubin NVL72

GPU总数

最多72颗

72颗

计算结构

9台独立八GPU服务器

18个专用计算托盘

NVLink互联范围

以每台8-GPU服务器为基本互联域

覆盖整个72-GPU机架

跨服务器通信

依赖集群高速网络

机架内通过专用NVLink交换网络

资源部署特点

适合按八GPU节点扩展

强调统一的机架级计算架构

这意味着,GPU数量相同,并不代表计算平台具备相同的通信能力和模型运行效率。

例如,某些大型模型需要通过张量并行,将不同计算部分分布到多颗GPU上。如果计算过程需要频繁交换大量中间数据,那么GPU之间的通信带宽和延迟就会直接影响性能。

对于需要紧密协作的72-GPU任务,统一NVLink互联域可能具有架构优势。

但对于能够拆分为多个独立任务的训练、推理或批量计算业务,9台八GPU服务器同样可能具有良好的实用价值。

尤其是多租户GPU云服务,不同客户通常需要独立的GPU资源,并不一定要求所有72颗GPU组成一个统一计算域。

A5数据分析,未来企业采购大型GPU系统时,不能只比较GPU总数,还需要确认NVLink拓扑、跨节点网络、GPU之间的实际通信路径,以及集群软件是否能够充分利用这些硬件资源。

对于GPU租赁市场来说,72颗GPU的总容量与能否提供一个统一的72-GPU高速互联环境,是两个不同的产品能力。

为什么服务器厂商开始强调整机架交付?

传统GPU服务器的采购方式相对直接。

企业确定GPU型号、CPU、内存、SSD和网络配置后,向供应商购买服务器,再将设备安装到已有机柜中。

但随着单台GPU服务器的功率密度和高速互联要求提高,这种部署方式正在受到更多基础设施条件约束。

仁宝此前公布的OG231-2-L1技术资料显示,该平台针对约24kW级别的单系统功率进行了液冷设计。

这是厂商此前披露的产品设计信息,不代表所有配置下的实际持续功耗,也不能直接当作SC26展示机架的实测数据。

不过,即使不考虑具体负载,仅从设备功率级别就能够发现,高密度GPU服务器对机柜供电和散热系统提出了非常高的要求。

以9台同等级服务器为例,如果按每台24kW进行理论功率估算,GPU计算节点的合计功率就可能达到216kW级别,还没有计入部分网络、供电和冷却辅助设备。

这只是用于理解机架功率规模的估算,实际机架功耗需要根据具体GPU功率设置、CPU配置和运行负载确定。

对于传统IDC机房而言,这已经远远超出了许多通用服务器机柜的设计条件。

即使机柜还有足够的物理空间,也不代表供电容量、制冷系统和配电线路能够承载这样的负载。

更复杂的是,整机架GPU系统需要将多项基础设施协调起来,包括高功率供电、GPU液冷、高速网络、服务器管理和故障保护。

如果由客户分别采购服务器、机柜、网络设备和液冷系统,再由多个供应商进行现场安装,可能面临设备兼容、调试周期、责任边界和维护协调等问题。

整机架交付试图解决的,正是这些单台服务器采购之外的问题。

它将原本需要在数据中心现场完成的部分系统集成工作,提前纳入服务器厂商的设计和交付流程。

这并不意味着机架可以运到任何机房后直接通电使用,而是客户能够提前获得一套具有明确供电、散热、网络和管理要求的集成方案,降低多个组件之间的适配难度。

液冷正在从服务器散热方案变成机架级基础设施

仁宝此次展示的Rubin机架,采用直接液冷设计,并将机架级供电、液冷系统、集中管理和泄漏保护结合起来。

液冷本身并不是新技术,真正的变化是它在高密度AI服务器中的部署位置和重要程度。

传统风冷服务器通过风扇让空气经过处理器、内存及其他发热组件,再由机房空调将热量带走。

这种方式适用于大量常规服务器,但当GPU功率持续提高、2U机箱中集成8颗高性能加速卡时,传统风冷的散热空间和空气流量都会受到明显限制。

直接液冷通过冷板和循环冷却液,将GPU等高热负荷组件产生的热量传递到冷却系统。

但需要注意,液冷并不是让服务器产生的热量减少,而是改变热量传递和排出的路径。

机房仍然需要具备相应的换热能力,并为冷却液分配单元、泵组、管路和监控系统提供必要条件。

对于大规模机架级液冷,还必须考虑冷却液流量、供回液温度、接口可靠性和泄漏检测等问题。

其中,泄漏保护尤其重要。

当大量高价值GPU集中在同一个机架时,液冷系统故障可能造成的影响范围和设备价值,都明显高于普通计算节点。

因此,液冷系统不只是设备附带的散热配件,而是整个计算平台稳定运行的重要组成部分。

A5数据认为,这也是整机架交付逐渐受到重视的原因之一。计算平台、液冷结构和供电系统如果能够在设计阶段协同验证,相比设备到场后再分别集成,更有机会减少部署过程中的兼容性问题。

不过,具体的可靠性优势仍然需要实际交付、长期运行和故障统计数据支持,不能仅凭采用整机架设计就认定故障率一定更低。

从Vera CPU机架,看AI基础设施为什么不再只有GPU

除了72颗Rubin GPU的液冷机架,仁宝在SC26还展示了另一种值得关注的计算架构。

其NVIDIA Vera CPU机架型号为OX130-8N-L1,最多可以集成32个Vera CPU计算托盘,每个托盘配备8颗Vera CPU和一颗BlueField-4 DPU。

整套机架最大可以搭载256颗Vera CPU。

按照NVIDIA公布的相关技术资料,这一平台面向AI Agent、强化学习和CPU密集型计算任务。

这也说明,AI基础设施的建设重点正在从单纯增加GPU,延伸到CPU、内存、网络及存储等多个环节。

在实际AI应用中,GPU主要负责模型所需的大规模并行计算,但整个AI服务并不只有模型推理。

例如,复杂AI Agent可能需要持续调用外部工具、执行代码、访问数据库、处理文件、检索资料,以及管理多个并发任务。

这些操作并不一定适合全部交给GPU完成。

当大量Agent同时运行时,CPU资源、系统内存和网络处理能力同样可能成为整体系统的性能瓶颈。

对于企业部署AI应用来说,如果GPU计算性能足够,但CPU无法及时完成数据处理和任务调度,昂贵的GPU资源就可能处于等待状态。

因此,未来大型AI计算平台不仅需要高密度GPU机架,也可能需要独立的高密度CPU机架、网络机架和专用存储系统共同运行。

仁宝此次将GPU液冷机架与Vera CPU机架同时展示,正反映了这种系统级设计方向。

需要说明的是,256颗Vera CPU是另一款独立的CPU机架配置,并非安装在72颗Rubin GPU机架内部,不能将两者直接相加理解为同一套服务器的硬件规格。

整机架交付,会怎样改变GPU服务器租赁市场?

对于传统GPU服务器租赁业务,客户通常按照GPU型号和数量选择套餐。

例如,单卡GPU服务器、四卡服务器、八卡服务器,或者面向大型企业的独立GPU计算节点。

但随着AI模型规模扩大,部分客户的需求已经超出了单台服务器能够提供的资源范围。

大型模型训练、强化学习和高吞吐推理业务,可能需要同时使用几十颗甚至数百颗GPU,并要求这些设备具备足够的互联带宽和稳定运行能力。

这类客户关心的,不再只是租赁价格和GPU型号,还包括计算集群能否按期交付、跨节点网络性能、稳定性保障以及故障后的恢复能力。

从这个角度来看,GPU租赁市场可能逐渐形成三个不同层次。

首先是按GPU资源提供的基础算力租赁。

这类服务面向开发测试、模型微调、中小规模推理和普通AI计算任务,客户通常更重视价格、显存容量和使用灵活性。

其次是按完整服务器节点提供的独立GPU租赁。

例如八GPU服务器,客户能够独占整台设备,并使用节点内部的高速GPU互联能力。

这种模式适合对硬件资源隔离、性能稳定性或定制运行环境有要求的用户。

第三是面向企业的大规模GPU集群或整机架交付。

客户租赁的不再只是单独的计算设备,而是包含多台GPU节点、高速网络、供电和冷却保障的完整算力基础设施。

这类服务可能更适合需要长期稳定算力的大型AI企业、科研机构和模型服务商。

不过,整机架GPU服务器不一定都需要直接作为不可拆分的租赁产品出售。

例如仁宝展示的九节点NVL8架构,具备按八GPU节点组织计算资源的特点,服务商仍然可以根据网络架构和隔离策略,将不同节点分配给不同客户使用。

相反,如果客户需要跨越整个机架的紧密GPU互联能力,就必须确认平台能否支持相应的通信拓扑,而不能简单根据72颗GPU的数量判断。

A5数据分析,未来高端GPU租赁服务的差异化竞争,可能越来越依赖供应商提供完整计算环境的能力。

客户最终支付的费用,也不应只理解为72颗GPU的租金,还包含高速网络、机房电力、液冷系统、运维保障和长期设备折旧。

IDC机房面对整机架AI服务器,首先需要解决什么?

对于计划引入高密度GPU设备的IDC运营商来说,整机架计算平台会带来新的商业机会,但也会提高基础设施建设要求。

首先需要考虑的,是机房电力。

传统IDC机柜通常按照相对有限的功率密度规划,而高端GPU机架的实际功率需求可能达到数十千瓦甚至数百千瓦。

这不仅涉及单个机柜的PDU和供电回路,还会影响UPS容量、配电设备、电缆规格以及机房整体可用电力。

其次是液冷条件。

如果机房原本采用传统风冷系统,就需要评估是否具备引入直接液冷设备的条件。即使采用独立冷却方案,也需要确认最终热量由哪一套系统排出。

第三是机架级网络设计。

大量GPU同时运行训练和推理任务时,节点之间的数据交换可能非常频繁。

普通企业网络或低带宽交换结构,未必能够满足大规模GPU集群的需求。

对于跨节点计算任务,还需要根据实际负载考虑高速以太网、InfiniBand、RDMA以及网络拥塞管理等能力。

最后是故障责任和运维。

当服务器、液冷、电力及高速网络由不同厂商提供时,出现故障后的定位和处理可能涉及多个环节。

整机架交付可以降低部分集成复杂度,但仍然需要明确设备制造商、机房运营商和算力服务商之间的维护责任。

特别是液冷泄漏、供电异常和网络设备故障,可能同时影响多个GPU节点,因此需要建立完整的告警、隔离和应急处理机制。

在A5数据看来,整机架GPU产品对IDC行业带来的最大挑战,并不是能否购买到最新的Rubin GPU,而是机房是否具备持续承载这些设备的能力。

如果机房供电和散热无法满足条件,即使获得了GPU硬件,也不等于能够立即向客户提供稳定的计算服务。

GPU数量不再是衡量AI服务器价值的唯一标准

从传统八GPU服务器,到单机架集成72颗Rubin GPU,再到独立的256颗Vera CPU计算机架,AI基础设施正在向更高密度和更强系统集成能力发展。

这并不意味着单机GPU服务器会被淘汰。

对于中小规模模型推理、开发测试和通用AI业务,单台GPU服务器仍然具有部署灵活、采购门槛相对较低、资源管理简单等优势。

而对于大型模型训练和持续运行的企业级AI计算平台,整机架交付能够将计算节点与电力、冷却、网络和系统管理一起规划,减少部分现场集成工作。

但机架级产品的价值不能单纯用GPU数量衡量。

尤其是不同架构之间,即使都拥有72颗GPU,其互联拓扑、显存访问方式和任务调度能力仍然可能存在明显区别。

截至11月18日,仁宝公布的是SC26期间展示的产品与集成方案。官方资料并未提供这套72-GPU机架在大规模客户环境中的完整实测能效、实际售价或交付周期,因此还不能据此判断其商业部署成本已经低于传统服务器集群。

真正值得关注的行业变化,是服务器厂商正在承担越来越多原本由数据中心集成商和客户完成的工作。

过去,客户主要采购CPU、GPU、内存和硬盘组成的计算设备;现在,高端AI基础设施开始将整套供电、液冷、高速互联和集中管理共同纳入产品交付范围。

对于GPU服务器租赁商来说,这也意味着未来的竞争可能不再停留在谁拥有更多GPU、谁的单卡租金更低,而是进一步转向谁能够在可控的成本下,持续、稳定地交付符合客户计算需求的完整算力环境。

当72颗GPU可以集中到一个机架时,真正决定它们能创造多少价值的,已经不只是芯片本身,而是让这些芯片高效协同运行的整套基础设施。

精选行业方案
PREV