月之暗面官宣 Kimi 开放平台 Context Caching 功能将启动内测,届时将支持长文本大模型,可实现上下文缓存功能。

据介绍,Context Caching(上下文缓存)是由 Kimi 开放平台提供的一项高级功能,可通过缓存重复的 Tokens 内容,降低用户在请求相同内容时的成本,原理如下:

官方表示,Context Caching 可提升 API 的接口响应速度(或首字返回速度)。在规模化、重复度高的 prompt 场景,Context Caching 功能带来的收益越大。

AI 多模态:虹软科技、万兴科技、当虹科技、中科创达、大华股份、海康威视、漫步者、萤石网络、汉仪股份、美图公司、云从科技;

AI 算力:云赛智联、思特奇、恒为科技、海光信息、寒武纪、景嘉微、工业富联、拓维信息、浪潮信息、四川长虹、神州数码;

AI+办公:金山办公、万兴科技、福昕软件、彩讯股份、金蝶国际、泛微网络、致远互联、鼎捷软件、汉得信息,用友网络;

AI+教育/电商/医疗:科大讯飞、佳发教育、鸥玛软件、盛通股份、值得买、焦点科技、小商品城、润达医疗、嘉和美康、创业慧康等。

 



追加内容

本文作者可以追加内容哦 !