算力板块上周被小作文带下来了,把兴森科技也拉下来了,本来要突破的。看好明天反包!
观点明确,h910c也快大规模发货了,产能正在准备。
A:幻方这消息纯粹就是断章取义。训练一个671B的moe模型,而且用了fp8的架构,来达到gpu耗时数的下降,幻方在技术上确实牛。但幻方在训这个模型之前,是用了他们自己的r1模型(对标openai o1模型)来生成数据的,这个部分的反复尝试要不要算在成本里呢。
且不算前面那笔糊涂账,单就在训练上做降本增效这件事,这不代表推理需求会下降,只代表大厂可以用性价比更高的方式去做模型极限能力的探索。应用端只要有增长的逻辑,推理的需求依然是值得期待的。
B:-训练只有一次,推理是无数次。推理需求实质上远大于训练需求,尤其是用户基数大了。
- Deepseek是站在巨人的肩膀上,使用大量高质量合成数据。
- Deepseek这个统计口径只计算了训练,但数据的配比需要做大量的预实验,合成数据的生成和清洗也需要消耗算力。
- Deepseek的模型的MoE每个专家都可以单独拿出来训练,本身相比于dense架构就是省力一些的方案。
-人人都超越了GPT 4o,llama 3天天被踩在脚底下,消费者和企业界实际使用用的最多的还是这两个模型。这些宣传的成绩未必可靠。
追加内容
本文作者可以追加内容哦 !