英伟达推出下一代AI超级计算机芯片HGX H200比H100推理速度快一倍

英伟达NVIDIA)在本周一发布了其最新的人工智能超级计算机芯片 HGX H200,该芯片基于英伟达的“Hopper”架构,能够加速深度学习和大型语言模型(LLM)等人工智能应用。

英伟达推出下一代AI超级计算机芯片HGX H200比H100推理速度快一倍

HGX H200 是 H100 GPU 的继任者,也是英伟达首款使用 HBM3e 内存的芯片,这种内存速度更快,容量更大,因此更适合大型语言模型。英伟达称,HGX H200 可以提供 141GB 的内存和每秒 4.8TB 的带宽,与 A100 相比,容量几乎是其两倍,带宽增加了 2.4 倍。在人工智能方面,英伟达表示,HGX H200 在 Llama 2(700 亿参数 LLM)上的推理速度比 H100 快了一倍。

HGX H200 将以 4 路和 8 路的配置提供,与 H100 系统中的软件和硬件兼容。它将适用于每一种类型的数据中心(本地、云、混合云和边缘),并由 Amazon Web Services、Google Cloud、Microsoft Azure 和 Oracle Cloud Infrastructure 等部署,将于 2024 年第二季度推出。

除了 HGX H200,英伟达还发布了一款整合了 H200 GPU 和基于 Arm 的英伟达 Grace CPU 的超级芯片 GH200,该芯片专为超级计算机设计,能够处理 TB 级数据的复杂 AI 和 HPC 应用程序。GH200 将被用于全球研究中心、系统制造商和云提供商的 40 多台 AI 超级计算机,其中包括 HPE 的 Cray EX2500 超级计算机和德国 Jülich 工厂的 JUPITER 超级计算机。

英伟达表示,这些新芯片将有助于在多个领域取得科学突破,包括气候和天气预测、药物发现、量子计算和工业工程,其中许多领域使用定制的英伟达软件解决方案,这些解决方案简化了开发,但也使超级计算团队依赖于英伟达硬件。

英伟达推出下一代AI超级计算机芯片HGX H200比H100推理速度快一倍

英伟达在 AI 和数据中心领域的收入持续增长,上个季度达到了创纪录的 103.2 亿美元,占总收入的 76%。英伟达无疑希望新的 GPU 和超级芯片能够帮助其继续这一趋势。

原创文章,作者:NEWS,如若转载,请注明出处:https://www.kejixun.com/article/595556.html

(0)
NEWS的头像NEWS认证作者

相关推荐

发表回复

登录后才能评论