云天励飞的算力概念主要包括以下几个方面:
算力芯片架构创新
云天励飞提出“算力积木”AI芯片架构,以标准化大模型计算单元为基础,利用D2D Chiplet等技术,将标准计算单元像搭积木般封装成不同算力芯片,可实现7B、14B、130B等不同参数量大模型在边缘端的高效推理,满足边缘大模型落地的灵活性和扩展性需求.
高性能算力芯片产品
其2023年底推出的DeepEdge10系列芯片,是国内首创的国产14nm Chiplet大模型推理芯片,采用自主可控的国产工艺,内含国产RISC-V核,支持大模型推理部署,已适配并可承载SAMCV大模型、LLama2等百亿级大模型运算,可广泛应用于AIoT边缘视频、移动机器人等场景.
算力服务业务拓展
云天励飞与北京德元方惠签署了16亿元的AI算力运营合作协议,为对方提供总规模约4000PFLOPS的AI训练及推理异构算力服务,服务期限为3年,每年总服务费为5.36亿元,且服务内容还涵盖组网设备及实施、算力调优、运维服务以及智能算力调度及AI大模型开发服务平台.
技术平台与资源储备
在大模型研发中积累了算力调优等技术平台和工具,可帮助客户提升模型训练及算力利用效率,为其算力服务业务提供了有力的技术支撑和资源保障,使其在同行业中更具竞争力.
算力一体机研发
未来还会推出基于Mesh Torus架构的大模型边缘推理一体机IPU X6000-Mesh 4U Server,以高峰值算力与突出的能效比支持大模型的单机部署,包括7B、70B、MoE等主流大模型的边缘侧推
理部署.
追加内容
本文作者可以追加内容哦 !