另外,这一代GH200基础设施尺寸走的是OCP 标准,传统的19英寸宽,44mm/RU的常见机架是没法用的。但是从公开渠道资料还没看到是不是支持标准的Ocp v3机架直接安装,如果支持的话那么对单柜功率的要求应该会小于20千瓦。
hgx grace hopper 官方计划是推出带nvlink 和不带的基板,不过还没看到谁家拿到带nvlink 的适配板组。要是有适配机型出来,很多企业级用户就可以低成本获得拥有同样数据访问特性的大模型训练设施了。
英伟达在大模型训练这个领域可谓是集技术与大成者,通过对麦伦斯的收购,完成了超高速带宽的数据传输网络整合,和自家的高性能计算芯片深度绑定,造就了一个Ai hpc应用护城河,并开发了相应的软件生态,Cuda编程体系已经变成具有统治地位的异构计算编程平台,Amd最新推出的mix3000想挑战这个软件生态地位,相信要付出不小的代价才有可能从他黄叔手上分一杯羹。