$光迅科技(SZ002281)$ 从目前各大实验室的实际情况看也是,OpenAI、Anthropic至今仍处于缺卡状态,相信幻方也是。看训练算力是否下降,不应该只看某代模型某次训练这种切面,而应该从“总量”以及“自上而下”去看,这些实验室的训练算力总需求是下降了吗?反而一直在上升。预训练的经济效益下降,那就把卡挪给RL post train,发现模型实现同等提升所需卡减少了,那就减少投入了吗?不会,真实逻辑应该是:榨干同等算力去攫取10倍收益。就比如o1的训练成本远超GPT-4,而o3的训练成本大概率远超o1。从前沿探索角度看,训练所需算力只会越来越多。应用生态越繁荣,只会让训练投入的支付能力更强;而算力通缩,只会让同等投入买到更多训练Flops。就好比幻方这次发布的模型,依然是LLM路线下,将MoE压榨到了极致。但相信幻方自己的推理模型r1(对标o1)也在探索r2/r3,这显然需要更多算力。而r2/r3训完,又被用来消耗大量算力为deepseek v4合成数据。发现没,pre-train scaling、RL scaling、test-time compute scaling三条线甚至还有正反馈。因此,只会在可获得最大资源的前提下,用最高效的算法/工程手段,压榨出最大的模型能力提升。而不会因为效率提升而减少投入,个人认为这是个伪逻辑。目前两层仓,继续杀吧,我等着捡筹码到4.5层仓锁半年
追加内容
本文作者可以追加内容哦 !