日前从中国科学院空天信息创新研究院(以下简称“空天院”)获悉,空天院付琨研究员团队联合鹏城实验室正式发布自主研制的百亿级遥感解译基础模型——“空天·灵眸”3.0版,这是迄今为止全球首个百亿参数级空天一体遥感解译基础模型。

“空天·灵眸”是我国首个面向多模态遥感数据生成式基础模型,也是首个专为遥感领域打造的行业基础模型。自2022年首次推出后,空天院研究团队在“基础模型 下游任务”计算范式积累上持续探索。今年3月起,研究团队与鹏城实验室深度合作,基于中国算力网“鹏城云脑Ⅱ”枢纽节点,采用512张昇腾910显卡,历时数月攻关完成了在4亿张国产化多模态空天遥感数据样本上的预训练,基础模型参数规模首次超过百亿。

“空天·灵眸”3.0版内核工作架构是联合团队基于热传导,自主研发的一套小而精的原创性架构——受传热学物理思想启发,联合团队将场景目标间视觉语义传播建模为热能扩散过程,从而使该架构有效突破了遥感模型推理的性能和速度瓶颈,计算速度较传统结构模型提升2.4倍以上。这一架构实现了模型数据学习、推理等速度的大幅提升。例如,原来训练1000万张数据样本,需要大约300多块显卡,现在只需要1/3的数量,处理速度还提升了约2.4倍。

“空天·灵眸”3.0版目前已表现出极为优秀的泛化解译性能,在可见光、合成孔径雷达、热红外、多光谱等多传感器卫星数据基础上,拓展至航空遥感飞机、无人机等不同航空平台观测数据的自动化、高精度解译处理。尤其是航空大倾角成像过程中,极易出现畸变、遮挡、缺失等干扰,模型对此依然可以保持高精度的识别能力。

目前,“空天·灵眸”3.0版在覆盖场景分类、目标检测、语义分割、变化检测等6大类任务的23个国际基准数据集上测试,相较于当前的主流模型,精度平均提升4%至10%,指标均达到领先水平,并已在应急、国土、海洋、住建等多个行业部署试运行,特别是在最具挑战性的复杂要素精细分类、运动小目标连续跟踪等任务上性能卓越,为天临空地一体化应用提供了一套行之有效的解决方案。未来,研究团队将持续推动“空天·灵眸”3.0版在国民经济各个行业的落地应用。

$润欣科技(SZ300493)$:公司的主营业务以无线连接芯片、射频元器件和传感器芯片为主,目前公司主要的IC供应商有高通、思佳讯、瑞声科技、AVX/京瓷、汇顶科技等。

$景嘉微(SZ300474)$:公司主要从事高可靠电子产品的研发、生产和销售,产品主要涉及图形显控领域、小型专用化雷达领域、芯片领域和其他。

$易华录(SZ300212)$:公司是中国华录集团旗下上市公司,深耕大数据产业,当选中国计算机协会信息安全与存储专委会副理事长单位。

注:以上仅为谱数的经典战法数据统计结果,供大家参考,股市有风险投资需谨慎。

追加内容

本文作者可以追加内容哦 !