中国电信发布单体稠密万亿参数语义模型 用了普通训练方案9%的算力资源

格隆汇6月19日｜从中国电信处获悉，近日，中国电信人工智能研究院（TeleAI）联合北京智源人工智能研究院发布了全球首个单体稠密万亿参数语义模型Tele-FLM-1T，成为国内首批发布稠密万亿参数大模型的机构。记者了解到，针对大模型训练算力消耗高的问题，TeleAI与智源基于模型生长和损失预测等关键技术联合研发出的Tele-FLM系列模型，仅使用了业界普通训练方案9%的算力资源，基于112台A800服务器，用时4个月完成了3个模型总计2.3T tokens的训练。