(相关资料图)
北京时间今天凌晨,谷歌举办了Google I/O 2023大会。在会上,谷歌不仅发布了最新的Pixel系列硬件产品,还宣布了自家的AI服务Google Bard将会拥有更多功能,且将在更多的国家和地区开放使用。与此同时,谷歌还揭秘了在Google Bard背后提供强大算力的机器,A3超级计算机。
谷歌表示A3是专为训练和运行现时的生成式AI和大语言模型而打造的,可提供26 exaFlops的AI性能。每台A3均包括第四代英特尔至强可扩展处理器、2TB DDR5-4800内存、8块NVIDIA H100 GPU组成。这8块H100 GPU通过NVSwitch和NVLink 4.0互连,对分带宽能够达到3.6TB/s。
NVIDIA H100 NVL
NVIDIA的超大规模和高性能计算副总裁Ian Buck表示,“由NVIDIA H100 GPU驱动的谷歌云A3将会加速生成式AI应用的训练和运行。继谷歌云最近推出的G2之后,我们很自豪可以继续和谷歌云合作,通过AI基础设施帮助世界各地的企业转型。”
此外,除了英特尔和NVIDIA提供的硬件之外,A3还搭载了谷歌自家定制的200Gbps IPU,它可以让GPU和GPU之间的数据绕过CPU,并可在其他虚拟机网络和数据流的接口上传输。相较A2,A3拥有10倍的网络带宽,且尾延迟更低,稳定性更高。同时,谷歌的Jupiter数据中心网络结构能让数以万计的GPU高度互连,而且能够按需调整网络拓扑,这有利于成本的降低。
现时谷歌A3尚未正式推出,如果想要使用的话,目前的唯一方法就是填写谷歌的预览意向表。而且它是一个面向企业的服务,跟个人用户关系并不大。不过说起来,如果能用上Google Bard的话,某种意义上也算是体验过A3了。