英伟达公布了其首款代号为Grace的CPU产品,它是为现代数据中心设计的。该CPU以计算机科学家Grace Hopper的名字命名,Grace Hopper是计算机科学的先驱之一,也是哈佛Mark 1的第一批程序员和第一个链接器的发明者。
Grace CPU是NVIDIA首次采用研发多年的下一代Neoverse核心的设计。整个SoC是由多个芯片组合构成,它主要有三个部分,分别是CPU、GPU和内存/IO子系统。英伟达并没有透露太多细节,但该公司表示,Grace CPU将能够在SPECrate2017_Int_base中提供300分以上的成绩。
Grace是一款高度专业化的处理器,主要解决工作负载问题,例如训练拥有超过1万亿个参数的下一代NLP模型。当与英伟达GPU紧密结合时,基于Grace CPU的系统将比当今最先进的基于英伟达DGX的系统(运行在x86 CPU上)的性能还要快10倍。
英伟达推出Grace的原因是,AI模型的数据量和规模正在成倍增长。当今最大的AI模型包括数十亿个参数,并且每两个半月就会翻一番。训练它们需要一个新的CPU,可以与GPU紧密结合,以消除系统瓶颈。
英伟达通过利用ARM数据中心架构的灵活性来构建Grace。通过推出全新的服务器级CPU,英伟达正在推动AI和HPC社区实现技术多样性的目标,而在这些社区中,选择是提供解决世界上最紧迫问题所需创新的关键。
Grace性能的基础是第四代NVIDIA NVLink互连技术,该技术在Grace和NVIDIA GPU之间提供了创纪录的900 GB/s连接,与当今领先的服务器相比,总带宽提高了30倍。
此外,Grace还将采用创新的LPDDR5x内存子系统,与DDR4内存相比,可提供两倍的带宽和10倍的能效。此外,新的架构提供了统一的缓存一致性和单一的内存地址空间,将系统和HBM GPU内存结合在一起,简化了可编程性。
Grace将得到NVIDIA HPC软件开发包和全套CUDA和CUDA-X库的支持,这些库可以加速超过2000个GPU应用,加快科学家和研究人员对世界上最重要挑战的发现。Grace CPU预计将于2023年初上市,作为首批客户,洛斯阿拉莫斯国家实验室已经计划在2023年上马由惠普企业公司打造的Grace驱动的超级计算机。