$云天励飞-U(SH688343)$  

国产边缘AI芯片架构如何创新?云天励飞“算力积木”

作为AI芯片领域代表企业,云天励飞受邀出席“AI芯片与高性能计算应用论坛”,分享国产边缘AI芯片架构创新思路。

云天励飞副总裁、芯片产品线总经理李爱军在演讲中说道,过去一年半,大模型经历了从语言到多模态的转变,并且正快速向物理世界演进;大模型落地应用也从云端逐渐走向边缘端,而大模型在边缘端的应用给AI芯片带来了全新的挑战。

边缘端场景具有“多且碎”的特点,不同场景应用对算力、内存、带宽的要求也不尽相同。如何通过更灵活的芯片架构设计,尽可能让AI芯片满足不同场景的需求,是业界共同思考的问题。

在此背景下,云天励飞提出了“算力积木”AI芯片架构,让芯片能够像搭积木一样灵活组建、灵活扩展。

以云天励飞基于“算力积木”打造的国内首颗国产工艺边缘AI芯片DeepEdge10系列为例,DeepEdge10系列芯片基于一个标准化的大模型计算单元打造,可实现1.8B大模型的实时高效推理。

通过D2D Chiplet技术、C2C Mesh技术和C2C Mes Torus技术,云天励飞将标准计算单元像搭积木一样,封装成不同算力的芯片,覆盖8T-256T算力应用,可实现7B、14B、130B等不同参数量大模型在边缘端的高效推理。

目前,DeepEdge10系列芯片可支持包括Transformer模型、BEV模型、CV大模型、LLM大模型等各类不同架构的主流模型,并在机器人、边缘网关、服务器等领域实现商业化应用。

图片

随着大模型进一步深入行业和场景,市场对边缘AI芯片的需求将越来越大,而目前全球边缘AI芯片市场仍处于萌芽阶段。未来云天励飞将坚持走自主研发路线,通过架构创新,在国产工艺上实现芯片性能的突破,为行业带来更好用、更高性价比的国产AI芯片产品。

追加内容

本文作者可以追加内容哦 !