能力全面提升！三六零开源升级版自研大模型360Zhinao2-7B

推荐 2024-12-03 10:17:23

分享到

近日，三六零自研AI大模型360智脑7B参数升级版（360Zhinao2-7B）正式开源，现已上线Github开源社区（github.com/Qihoo360/360zhinao2），可免费商用。该模型是继今年4月 360Zhinao1-7B 开源后的重要更新，通过全新的多阶段训练方式和更优质的数据处理策略，新开源360智脑模型不仅提升了中英文通用能力，还显著增强了模型的数学逻辑推理能力。据评测，相对于前一版本，其在基础模型训练和对齐训练两大核心环节上均取得重大进展，实现在国内外同尺寸开源模型中，中文能力第一、IFEval指令遵循7B第一，复杂数学推理能力第一；此外，模型的长文本微调能力，在各个长文本benchmark 上位列第一梯队。

360Zhinao2-7B 在多项性能评估基准中表现卓越。基于开源工具 OpenCompass 的评估，360Zhinao2-7B 在中文领域的 CEval 考试和复杂数学推理数据集 math 上，该模型以10B以下开源模型第一的排名展现了超强的竞争力。此外，在C3、lcsts等中文阅读和摘要任务中，该模型也取得了领先成绩。360Zhinao2-7B 在 IFEval、MT-bench、CF-Bench三个流行评测上，模型都具备竞争力，比如在 IFEval (prompt strict) 上，在7B尺寸上得分最高。

优异的模型效果评测结果，基于 360Zhinao2-7B 多项核心技术革新。首先，预训练数据优化：通过语义去重和多样化处理，大幅提升网页数据的均衡性；同时，通过大规模合成，弥补了数学和代码数据的不足。其次，模型结构升级：引入GQA机制，显著提升推理效率。第三，对齐训练强化：采用iterative DPO，off policy DPO以及PPO三种进化方式分别对齐，再采用先内插再外插的方法，极致提升模型的天花板。结合高质量人工标注的微调数据以及可验证的复杂指令遵循数据，大幅增强了模型在实际应用场景中的指令遵循能力。

此次 360Zhinao2-7B 开源，包含基础模型和强化对齐的聊天模型，以及模型的微调训练代码，推理代码等全套工具集也被一并开源，大模型相关开发者可做到“开箱即用”。无论是在学术研究还是在教育、医疗、智能客服等商业场景中，都具备高度实用性。

自三六零推出开源大模型以来，一直致力于构建开放、共享的AI生态。此次 360Zhinao2-7B 为广大开发者提供了低成本、高性能的创新机会，和性能强劲、稳定性高的技术基石，是三六零对技术社区的又一次支持。随着AI技术在全球范围内的迅猛发展，三六零将继续以开放的心态与行业伙伴共同探索更多可能性。