$科德教育(SZ300192)$ 关于DeepSeek以及美国AI未来的趋势,马斯克认为最有道理的一篇分析,总结如下:
1,deepseek 600 万美元的训练成本并不包括之前的架构设计、算法实验和数据准备。这意味着如果没有数亿美元的前期投入以及强大的硬件集群(如 DeepSeek 的 数万张 A100 GPU 集群),其他团队无法简单地复现这一成果。
2,DeepSeek 的开发显然依赖了对 GPT-4o 和 o1 的蒸馏,这也说明美国对高端 GPU 出口的限制并未阻止中国获得领先模型的能力。
“为什么要买奶牛(GPU),如果可以免费获得牛奶(蒸馏模型)?”
3,未来趋势:
(1)去中心化推理:推理从云端转移到本地(边缘设备)会引发计算模式的去中心化,可能带来 PC 和智能手机的大规模升级浪潮。
(2)AI 基础设施风险:当前 AI 基础设施的赢家(如科技公司、工业、能源领域)可能因去中心化推理而受冲击。
(3)超级智能(ASI)潜力:如果未来训练的模型能够解决癌症或发明“曲速引擎”,将使超级智能的经济回报极高,带来持续增长的训练资本支出和能源消耗。
(4)数据和分发的价值:具有独特数据分发能力的平台(如 YouTube、Facebook、Instagram 和 X)将因 AI 应用而进一步提升价值。
(5)美国实验室的应对策略:未来,美国实验室可能停止发布最前沿模型,以防止它们被蒸馏。但对于 DeepSeek-R1 这样的技术,“猫可能已经完全从袋子里跑出来了”。
4,关于 Grok-3:
(1)Grok-3 将成为自 GPT-4 以来对“预训练扩展法则”的第一次重大测试。推测其可能在几周内通过强化学习(RL)进一步提高推理能力。
(2)Grok-3 已展示超越 o1 的能力,关键在于其能够超出多少。
(3)未来定制化谷歌TPU可能发挥更大的作用。
估计未来资金会转像TPU厂家。杭州的ds和中昊是否有合作就看后续是否公布出来。
本文作者可以追加内容哦 !