当前位置: 首页>AI

最强服务器CPU来了!AI性能直接翻倍

来源:创氪网 2024-09-27 20:32:13

服务器CPU领域持续多年的核心数量大战,被一举终结了!

英特尔最新发布的至强®6性能核处理器(P-core系列),超越了过去单一维度的竞争,通过“升维”定义了新的游戏规则:

>算力、存力,要全方位提升。不能做到这一点的CPU,不是智算时代的好U。

在过去,CPU升级换代往往要在单个芯片上集成更多的核心,但这难免会受到工艺和芯片尺寸的限制,更别提与IO和内存的匹配难题。

这一次,至强®6性能核处理器采用了计算芯片单元与I/O芯片单元解耦的分离式模块化设计,可以灵活组合不同数量的计算单元,实现核心数量的扩展及内存和IO的同步强化,保证更优的整体性能和能效。

用最直观的方式感受一下:

2023年12月15日,英特尔数据中心与人工智能集团副总裁陈葆立从裤兜里掏出第五代至强®可扩展处理器,还只有64个核心。

2024年9月26日,还是陈葆立,同样从裤兜里掏出至强®6性能核处理器,却直接翻倍到128核心

两款处理器外形大小相似,都能轻松放入口袋,但性能却发生了质的飞跃。

具体来说,刚刚登场的是至强®6性能核处理器大家族中的先锋+顶级战力——英特尔®至强®6900P系列

拥有多达128个性能核504MB的超大L3缓存,更大、更宽的内存支持,更多、更快的IO能力。非常适用于各种数据和计算密集型应用任务,比如科学计算、海量数据处理,还有AI。

看到这里,可能很多人会有疑问:你们又要说用CPU跑AI?是GPU它不香了么?

NoNoNo,我们是想说:有了这款CPU,你的GPU或其他的AI加速器,会更香!

谈到这个话题,就要先说说AI服务器。

在生成式AI应用百花齐放的当下,AI服务器的重要性可谓是不言而喻,无论是对于大规模的训练、推理,亦或是RAG等任务,都对其提出了更高的要求。

也正如综合市场预测数据从侧面反应出来的那般:

>AI服务器市场规模已经达到了211亿美元,预计2025年达到317.9亿美元,2023-2025年的CAGR为22.7%。

我们都知道AI服务器里GPU或AI加速器很重要,却很容易忽视其中CPU的作用。一个真正为AI服务器或AI数据中心基础设施设计的出色的CPU,应该是什么样的?

英特尔®至强®6性能核处理器,可以说是给出了一个正解。

外媒甚至评测过后,对英特尔这次的新CPU给予了极高的评价:

>不仅仅是Xeon,更是XEON

嗯,用中文来说的话,就是英特尔至强,这次是真的至强(达到最强)了。

那么英特尔®至强®6性能核处理器是如何解锁这种认同的呢?

至强,何以至强

首先要说的是算力。

英特尔®至强®6900P系列产品此次最亮眼的128核(三个计算芯片单元),这就是它看似符合此前游戏规则的一大技术亮点。

通过核心数量的不同排列组合方式,至强®6性能核处理器可以应对不同的场景来提供不同核心的型号,除了最高128核的产品系列(6900P)外,还有最高86核(2个计算芯片单元),最高48核(1个计算芯片单元)和16核(1个计算芯片单元)的产品系列。

用来做这种排列组合的模块中,计算芯片单元采用的是Intel 3制程,包含一体式网格、核心、缓存、内存控制器等,可以保证数据传输的一致性。

I/O芯片单元则是采用Intel 7制程,包含UPI、PCIe、CXL和加速器引擎等。

不同于第五代英特尔®至强®产品,至强®6是将I/O和计算两个单元进行了解耦,不仅易于做核数的扩展,还有利于验证、重复和灵活使用。

除此之外,英特尔®至强®6性能核处理器的亮点还包括:

6400 MT/s DDR5

8800 MT/s MRDIMM内存

6条UPI 2.0链路;速率高达24 GT/s

96条PCIe 5.0/ 64条 CXL 2.0通道

L3缓存高达504MB

支持FP16数据格式的英特尔® AMX

接下来要说的是存力。

至强®6性能核处理器超脱此前游戏规则的亮点就藏在其中。

它同时支持了更快的DDR5内存(6400MT/s)和更“宽”的MRDIMM内存(8800MT/s)。

仅把前者替换成后者,就已经能让科学计算和AI场景的多项任务提升7%-33%不等了。而且相比此前至强® CPU Max采用的HBM,MRDIMM内存的引入,不仅带宽和速度优势更明显,它与CPU解耦的型态,也更利于用户的灵活采购、配置与升级。

存力除了内存本身的性能,还包含CPU与内存之间的互连技术,至强®6导入了最新的Compute Express Link 2.0 (CXL 2.0) 。

CXL 2.0支持多种设备类型,且可向后兼容,实现对内存和存储设备的灵活扩展。

支持链路分叉、更强的CXL内存分层支持,以及以受控热插拔的方式添加/移除设备,为未来的数据中心架构带来了更多可能性。

更值得一提的是至强®6独占的“Flat”内存模式,CXL内存和DRAM内存被视为单一的内存层,让操作系统可以直接访问这一统一的内存地址空间。

这样的分层管理可以确保最大限度地提升内存使用效率,并且实现利用好CXL内存扩展而无需修改软件。

如此这般能对内存速度、带宽、容量和可扩展性全面兼顾,已经形成了至强®6性能核处理器独树一帜的竞争力。

具体到服务器设计上,CLX2.0可以支持每机提供8TB内存容量扩展,同时提供384GB/s的内存带宽扩展。

当然,作为CPU的至强®6性能核处理器并没有忘记自己的本份,把存力与算力的硬指标优势结合起来,转化成真正的优势,才是它被看好的底气。

在算力方面,除了更多内核,它还有内置加速器与指令集更新带来的加成。

主攻AI加速的英特尔®高级矩阵扩展(Intel® AMX)新增对FP16数据类型的支持,现已全面覆盖 int8、BF16和FP16数据类型。

其在每个内核中的矩阵乘加(MAC)运算速度可达 2048 FLOPS(int8)和1024 FLOPS(BF16/FP16),能大幅提升 AI 推理和训练性能。

英特尔® 高级矢量扩展 512(AVX-512)虽然是员老将了,但在得到如此丰沛的内核资源支持后,也依然是科学计算、数据库和 AI 任务中的矢量计算担当。

这些加速器的升级与焕新带来的成果就是下图这种多负载性能表现普遍倍增的现象,在AI领域,尤其是在Llama2-7B上的提升直接达到了前一代产品的3.08倍

最后在硬件增强的安全特性方面,英特尔早期的方案为SGX,但从第五代至强® 开始新增了TDX方案。这些看似难以通过Benchmark数值来证明自身价值的技术,实则不可或缺,是确保关键数据和应用更为安全可靠的压舱石。

而安全,恰恰是目前AI数据中心或智算中心这种涉及海量数据、关系万千机密和隐私的环境中较少提及,却最应补足和巩固的一环。

说了这么多,如果要用一句话总结至强®6性能核处理器,尤其是6900P系列产品的定位,那就是“更强通用计算,兼顾AI加速”了。

那么新处理器具体都有哪些用法,表现又如何呢?

还请继续往下看。

全能型CPU:加速AI推理,统领异构计算

首先,至强®6性能核处理器可以做“独行侠”,直接加速AI推理,助力AI应用普及。

用CPU做AI推理加速,其意义并非在于与GPU或其他专用加速器竞争极致的速度或效率,而是要在一些成本、采购、环境等条件受限的情况下,借助CPU部署更广泛、人才储备更扎实和应用更便捷的优势,让AI能够更快、更有效地落地。

带着这样的整体目标,英特尔在软件生态和工作负载优化方面投入了大量精力,以确保用户能够充分发挥至强®6性能核处理器的潜力。

例如,英特尔与TensorFlow和PyTorch等主流深度学习框架进行深度合作,将针对英特尔CPU的优化集成到官方发行版中,从而使得在英特尔CPU上运行深度学习模型时,性能得到显著提升。上文提到的Llama2-7B成绩便是这些努力的成果之一。

另外,至强®6性能核处理器还可以做“指挥官”,强化AI系统整体实力。

这其实是很多用户更为熟悉,也是至强®6性能核处理器更主打的应用方式,所谓“指挥官”,另一个名称就是机头(head-node)CPU或主控CPU。

如果将至强®6性能核处理器用作AI服务器的机头CPU,那么其在算力(更强的单线程性能)、存力(对MRDIMM内存和CXL内存扩展能力的支持)以及 I/O(更多的PCIe 5.0通道)等方面的优势和潜能就能更加充分地发挥和释放出来。

使其能够与GPU或专用的AI加速器高效协作,出色地处理数据预处理、数据传输分享和混合工作负载。

我们最初的设问,至此终于拼凑出了一个更为完整的答案,即为何至强®6性能核处理器能够被称作AI服务器或AI数据中心的“严选”,甚至是优选CPU ?

这正是由于它既能够单枪匹马地加速AI推理,又可以居中协调以提升异构系统的整体性能输出。

更不必说,它还能够兼顾众多传统但同样不可或缺的应用负载,例如前文提及的科学计算和数据库,以及高性能云基础设施构建等任务。

以Flatiron Institute的案例来说,作为一家科研机构,他们对科学计算有着强烈的需求。通过测试得知,至强®6性能核处理器在常见科学计算负载上表现优异。

他们还觉得对MRDIMM内存的支持将进一步突破传统DDR内存的性能瓶颈,推动数据密集型科学发现。

在本次至强®6性能核处理器的发布会上,英特尔也展示了本地数据库软件合作伙伴——科蓝软件的成果。

英特尔市场营销集团副总裁、中国区&行业解决方案和数据中心销售部总经理梁雅莉在介绍生态系统支持状况时表示:

>基于我们的新品,科蓝软件构建了高性能国产分布式数据库,其吞吐较第五代至强®可扩展处理器提升达到 198%。

值得一提的是,在她分享中出现的中国合作伙伴数量众多且都是各领域的核心力量,英特尔虽然在产品研发上有了更多创新,但在商业模式上仍然非常依赖开放架构平台之上的产业合力。

十数家OEM、ODM、OSV和ISV在至强®6性能核处理器发布时同步推出新产品,以及多家云服务提供商的支持,在英特尔看来,才是新品真正走近用户和价值放大的基础。

建好AI服务器,CPU不能是短板

从前面列举的众多数据和用例可以看出,在当前AI应用加速落地、新推理计算范式和合成数据等趋势的推动下,AI算力需求越来越注重推理和复合工作负载。

在这之中GPU或专用加速器固然重要,但CPU作为整个系统的“指挥官”,绝不能成为短板。

大家需要真正兼顾通用计算,以及AI服务器及AI数据中心场景的CPU产品。它不仅能支持广泛的第三方GPU及AI加速器,与它们组合形成强大的异构计算平台,还能在其中补足GPU或专用加速器覆盖不到或不足的地方,为更多样和复杂的场景提供灵活的算力选择,并增强整个AI平台的稳定性、安全性和扩展性。

英特尔®至强®6性能核处理器的出现,就为AI计算带来了这样一个全新的支点。(来源:量子位 作者:梦晨 金磊)

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

相关阅读
最强服务器CPU来了!AI性能直接翻倍
跨境电商下南洋,已被验证的赢家哲学
AI「搅动」云计算,阿里云推动算力底层变革
Samsung One UI 6.1升级,Galaxy AI从Galaxy S24系
智慧视觉催化AI普惠 千行百业迎来数字新机遇
官宣!仰韶彩陶坊酒连续十一年荣膺“黄帝故里拜祖大
全国人大代表、中国移动辽宁公司总经理刘宏志:推动
人们为什么要过春节?被这支片子给讲透了
为各种工作负载加速 全新英特尔至强可扩展处理器创“
生成式AI就绪 英特尔发布第五代至强可扩展处理器
LG智能电视三剑客,双十二选哪款升级家庭娱乐体验?
AI 爆发、万物互联,英特尔 FPGA 迎来新机
协同合作打通产业链,行业大咖共商算力网络发展
为创新成长提速—「阿里云创业者计划」云栖大会专场
双十一最值得入手的LG OLED电视,让家居生活从电视
AI大模型赋能未来智能化人力管理,云生集团发布多款
来酷科技半年报数字的背后 降本增效提速显著 经营质效
腾讯区块链助力文物数字资产共享 推动文化传承与创新
计算机软件国家工程研究中心成立三十周年,新一届技
全新门派“万灵山庄”首曝 《剑网3》十四周年发布会
全新门派“万灵山庄”首曝 《剑网3》十四周年发布会
罗格朗模块化数据中心解决方案,让机房空间大有可为
乘“风”而来!山特风电专用 UPS,为风电行业保驾护
在光影世界中坚守,山特助力医疗行业数字化转型升级
伊顿电气重磅发布新一代融合电力模块——Eaton Powe
2023长春马拉松鸣枪开跑,红旗新能源携“新锐选手E0
还原真实自然的声音,如何打造出媲美影院水准的电视
形色随心崭新江湖 《剑网3》全新资料片“群侠万变”
打破界限,开启轻薄新时代,LG gramSuperSlim商务本
伊顿与蓝厅达成战略合作伙伴关系,共建 AI 算力中心
构建不间断供电保障,山特助未来智慧药厂建设
三座城市 三场会议 | 聚焦各行业数字化转型,多地上演
山特冠军挑战赛三亚完美收官,以拼搏诠释山特精神
山特以数字之能,助力抗疫前线
无惧石油石化行业严苛考验,山特不间断时刻“守护”
山特守护用电安全,助力机场凭“云数”腾飞
助力运营商边缘数据中心建设,且看山特更优解
山特赋能智慧交通引擎加速,织出市民稳稳的幸福感
全场景守护,山特助力医疗行业捍卫“生命线”
“绿”化在行动 | 山特助力中小型数据中心“破茧成蝶
探索技术背后的故事:云边协同让VR彻底融入智慧医疗
洒拖派高速擦窗机器人革新来袭,打造满分擦窗方案
掌上生活9.0的「零点猜想」:二十载磨砺一张卡
北汽蓝谷发布三季报 极狐发力高端市场
集度ROBO-01探月限定版追加1000名额 刘慈欣获004号车
闪耀第十一届数据中心高峰论坛 | 罗格朗宣贯末端配电
百望云入选“2022北京民营企业科技创新百强”
年度资料片“横刀断浪”首曝《剑网3》十三周年发布
年度资料片“横刀断浪”首曝《剑网3》十三周年发布
预定爆款!智慧先锋科技+领潮先锋造型,打造瑞虎7 P
线与线的不同!罗格朗带您了解数据中心综合布线
积极投身数字党校建设,罗格朗共拓绿色高效园区
硬核知识 | 罗格朗如何提高数据中心配电效率?
山特 ARRAY® 3A3 PT 系列UPS 硬核集结,各显“特”长
聚焦数字新基建,看数据中心如何绿色高质量发展
山特灵霄系列 PT3000 UPS 斩获 2022 iF 国际设计大奖
伊顿宣布购入江苏辉能电气有限公司断路器业务 50%
安谋中国主要股东宣布公司的治理问题已经得到解决
智汇山特,助力城市地铁安全出行
伊顿 E-Cube 3.0 微模块重磅升级,构建数据中心崭新蓝图
看山特“处方”如何“治愈”医疗信息化建设中的“顽
“毫秒”来电 | 看克莱沃ATS电源自动切换器,如何玩
微盛·企微管家再获3亿元融资,继续领跑企业微信SCR
末端配电新航道!罗格朗携数字配电助金融行业乘风破
只为突破而来,山特城堡 UPS 3C3 HD 20-80kVA 重磅登陆
如何为高精密检测仪器找“标配”?来看武汉理工大学
罗格朗助力德赛西威,安全运营智慧工业园区
为电而生,向蜀前行——克莱沃MPDU助力四川电力
教育新基建按下加速键,山特赋能未来教育正当时
助攻中大型数据中心转型,看山特如何与“大象”共舞
山特助攻数据中心,闯关发改委红线下的“大考”
微盛参加腾讯数字大会,再次获奖并进行主题演讲
小熊电器2021年前三季度实现营收23.65亿元
上海银行实现营收414.56亿元 富安娜营收约为19.89亿元
2021年前三季度珀莱雅营收30.12亿元 太阳纸业营收2
2021年前三季度中顺洁柔营收62.75亿元 尚品宅配营
2021年前三季度欧派家居营收约为144.02亿元 广州浪奇
大亚圣象2021年第三季度实现营业收入约为25.73亿元
红豆股份2021年前三季度实现营业收入16.19亿元
可口可乐2021年第三季度净营收100.42亿美元
坚朗五金2021年前三季度实现营收约为59.66亿元
2021年前三季度喜临门营收约50.43亿元 欧派家居营
今年前三季度宁德时代净利润为77.51亿元 顾家家居营
今年前三季度吉祥航空营业净收入约91.29亿元 丽
今年前三季度宜华健康营收约10.19亿元 百奥泰营
今年前三季度温氏股份营收约为465.69亿元 常宝股份
今年前三季度国际医学营收约20.49亿元 口子窖实现
前三季度青岛食品实现营收为3.12亿元 有友食品实现
前三季度老白干酒实现营收27.69亿元 星辉娱乐营收
前三季度千禾味业实现营业收入13.56亿元 安正时尚
2021年前三季度中国平安科技业务总收入732.27亿元
前三季度东鹏饮料实现营收约55.6亿元 水星家纺营收
山特研发中心实验室获得国家CNAS 权威认证
保利威:成为职教细分赛道引领者,润德教育、优路教
头部职业教育机构共同选择,保利威直播打造全新OMO
云计算漫谈 | 面向计算优化的计算云
以融合之势,突破困局 | 极道Achelous统一计算系统,
租用高防服务器应该选择几G才算好呢?
科普传授知识,画笔承载梦想,康师傅点燃青少年航天
庆贺天和核心舱发射成功,康师傅航天科普展武汉再出

关键词:

大家还在看