英伟达推出最新用于AI训练与推理的GPU芯片组H200。

这款最新的GPU是H100的升级版。H100是OpenAI用于训练其最先进的大型语言模型(LLM) GPT-4的芯片。

据机构预估，H100芯片成本在25000美元到40000美元之间，需要数千个芯片一起工作才能在训练的过程中创建最大的模型。

对英伟达AI GPU的需求推动该公司股价上涨，2023年至今已上涨超过230%。英伟达预计第3财季营收约为160亿美元，较去年同期成长170%。

H200的关键改进在于包含141GB的下一代「HBM3」存储器，这将帮助芯片执行「推理」，也就是在经过训练后使用大型模型来生成文字、图像或预测。

英伟达表示，H200的输出速度几乎是H100的两倍。这是根据使用Meta的 Llama 2 LLM 测试后的数据。

H200预计于2024年第2季出货，将与 AMD的 MI300X GPU 竞争。AMD的芯片与H200类似，比其前一代芯片具有额外的存储器，有助于在硬件上安装大型模型来运行推理。

英伟达表示，H200将与H100兼容，这意味着已经使用先前模型进行训练的 AI 公司将无需更改其服务器系统或软件即可使用新版本。

英伟达表示，将在该公司的HGX完整系统上提供4颗GPU或8颗GPU服务器配置，也就是名为GH200的芯片。该芯片组将H200 GPU与Arm架构处理器配对。