马斯克AI超级工厂（10万台液冷H100 GPu）

$浪潮信息(SZ000977)$  

马斯克宣布建成全球最大AI超级计算机：10万台液冷H100 GPu

2024-7-2310:28广东联通（广东）产业互联网有限公司运维工程师 不程序员

马斯克亲自上阵督导下，在xAI团队、X团队、Nvidia团队等公司支持下，Memphis超级人工智能训练集群已经开始工作了。

这台超级人工智能计算机拥有10万台液冷H100 GPU，在一个单一的RDMA架构上运行，这是迄今为止世界上最强大的AI训练集群。

单一 RDMA fabric 意味着所有这些 GPU 都连接在同一个高速、低延迟的网络上，允许它们高效地相互通信。

这台超级计算机建于德克萨斯州孟菲斯，距特斯拉德克萨斯超级工厂约 6.5 小时车程。

xAI 将使用这台巨无霸来训练新版本的 grok，不仅如此，未来的特斯拉秦天柱人形机器人，特斯拉自动驾驶神经网络，都将从这里产生新的迭代。

目前貌似没有任何 LLM 可以达到相同的训练量，大家都知道LLM 的训练极为重要， 据报道GPT4 使用了大约 25000 H100 训练，马斯克显然希望 Grok3 训练剑指GPT-5。