商汤绝影在行业率先实现
原生多模态大模型的车端部署
此前GPT-4o的发布为消费者展示了多模态实时交互的方式，让更多人领略多模态感知和交互的魅力，也开始帮助释放多模态大模型的商业落地想象空间。相较于手机，智能汽车才是更适合承载多模态大模型的落地场景。因为智能汽车内外的各种摄像头是常开的，用户可以实时跟汽车通过多模态的方式进行交互。同时，智能汽车的保有量不断增加，能够产生丰富的终端用户反馈和数据信息，让模型不断迭代成长。和OpenAI等公司相比，商汤绝影是汽车智能化的核心供应商，在智能驾驶和智能座舱领域具备丰富的量产经验，将以多模态大模型为核心加速“以人为本”的智能汽车交互革新。但相比于其他的终端，智能汽车有其特殊性，对安全和实时响应有着非常高的要求，汽车是私密空间，终端用户非常在意隐私保护。这就注定了多模态大模型大部分的任务将在车载终端完成。商汤绝影能够以云侧、端云结合、端侧等全栈方式灵活部署多模态大模型，让商汤原生多模态能力能够快速落地智能汽车。在WAIC 2024商汤人工智能论坛上，商汤绝影宣布在行业率先实现原生多模态大模型的车端部署，并在现场演示了搭载在200 TOPS+平台上的8B模型(即80亿参数)车端部署方案，展示强多模态感知和交互能力。相较于动辄就有几秒钟延迟的云上部署方案，商汤绝影车载端侧8B多模态模型可以实现首包延迟可低至300毫秒以内，推理速度40 Tokens/秒，引领“以人为本”的智能汽车交互革新。在WAIC 2024面向公众的展台上，商汤绝影还对外展示了在多个不同算力平台上运行2.1B或8B端侧多模态大模型的适配能力。明年，上千TOPS算力的车载芯片就会问世。基于更高算力的计算平台，商汤绝影多模态大模型车端部署方案的首包延迟将大幅度降低，推理速度进一步提高，为用户带来更加流畅和自然的智能汽车交互体验。引领多模态车端部署
商汤绝影有“杀器”
多模态大模型能够将语音、文字、图像、手势、视频等各种模态进行高效且深度地融合，提供更加丰富且自然的人机交互体验。过去许多模型处理不同模态信息是先把语音等输入转化为文字，文字和图像结合进行分析，输出反馈也是先生成文字，根据文字再生成语音输出，会有大量信息丢失和很高的延迟。由“日日新5.5”体系支持的全新商汤多模态大模型是一种端到端的模型，也就是文字、语音、视频等模态一同输入，模型统一处理后输出相应模态的信息，相较于过去的方案，多模态融合的技术难度是几何倍数的提升。技术上的高难度是商汤行业领先的原生多模态能力的直接体现。今年4月发布的“日日新5.0”是国内首个对标GPT-4 Turbo的国产大模型，“日日新5.5”体系更是全面升级，数学推理、英文能力和指令跟随等能力明显增强，交互效果和多项核心指标实现对标GPT-4o。商汤持续迭代的“日日新”大模型体系是商汤绝影多模态的车端部署领先行业的底气所在，也是绝影的“大杀器”之一。要让多模态大模型从云上落地到车端，商汤绝影还有更多的秘密武器。由于车载硬件、系统种类繁多，各种加速芯片层出不穷，其他行业和开源的框架工具很难完全支持和适配，同时也为了解决自回归方式生成token效率较低的问题，商汤绝影专为多模态大模型打造了一个“大杀器”——高性能计算引擎“HyperPPL”。它综合了大语言模型、多模态模型、CNN模型、前后处理完整的优化能力，是智能汽车领域最广泛的高性能AI芯片异构计算平台，为商汤绝影多模态大模型落地车端提供强大的计算底座。HyperPPL目前扩展并支持主流车载计算硬件，兼容多种主流操作系统，适配多个车载芯片的部署平台，使得商汤绝影原生多模态大模型在主流芯片平台均可快速部署上线。同时，HyperPPL支持flash decode、segment prefill等400多个硬件算子，并对算子进行性能优化，同时量化支持int8、int4模式，并支持训练后量化，从而实现极致推理效率。相较于大多数开源的Python推理框架、C++推理框架以及训练推理框架，商汤绝影自研HyperPPL方案在Orin平台上的推理速度更快，超过40 Tokens/S。而对比英伟达的原生推理框架 TensorRT，绝影的HyperPPL在推理能力相当的情况下，在内存上有明显优势，即以更小的内存达到和前者相同的推理速度。不仅如此，商汤绝影HyperPPL还针对车载多人场景进行优化，使得车内多人并发情况下，车端多模态大模型的模型推理效率相比单人没有明显降低。这些“大杀器”为商汤绝影引领多模态大模型的车端部署保驾护航。基于车端原生多模态大模型，商汤绝影将与合作伙伴共同打造全新的车载智能化产品，引领“以人为本”的智能汽车交互革新，加速智能汽车驶入AGI时代。(商汤-W)
追加内容
本文作者可以追加内容哦 !
