7月7-9日,华为开发者大会2023在松山湖华为小镇精彩举办,在华为“具身智能,让机器人‘知行合一’”分论坛上,高新兴机器人首席技术官刘彪以《大模型助力巡逻机器人进入3.0时代》为题进行了技术分享。
他提到,人工智能从第一代符号主义到第二代感知智能,以及第三代认知智能,与机器人的发展历程交相呼应、协同发展。以深度学习为主的第二代感知智能极大地促进了图像识别、语义理解、大数据分析等领域的技术进步。第二代机器人解决了环境感知与导航定位技术、基于激光SLAM与深度学习结合的语义地图技术、基于语音的人机交互技术、基于深度学习的视频结构化及图像检测与识别技术、基于大数据分析的传感器数据分析与行业数据分析和处理技术。
高新兴机器人结合第二代人工智能技术和机器人技术,构建了全栈机器人技术研发体系,搭建了云边端一体化机器人操作系统、FMAX四个机器人硬件平台、基于国产芯片SOC攻克了智能跨域融合控制器,在移动能力上解决了线控底盘、电机及控制器、智能跨域融合控制器技术;在感知能力上解决了以激光SLAM为主的组合导航技术、三维重建技术、基于高清、红外、紫光视觉、声音为主的多传感器环境感知与边缘计算技术;在决策能力上解决了规划决策、人机协同、多机协同及调度、云边端一体化技术;在交互能力上解决了特定场景NLP、移动AI检测和识别技术;在应用能力上打造了安保服务平台、警用无人系统平台、工业巡检平台及远程运维和服务平台。
以大模型和多模态为主的第三代人工智能在基础模型作为感知模块的工作中,更多是基于视觉模型与具身智能的结合;而在基础模型作为规划模块的工作中,以ChatGPT为代表的生成式语言模型被用于对复杂指令进行拆解和规划;在动作执行模块,基础模型往往需要结合指令和对环境的观测结果等多模态数据,来实现精细动作的执行。
具身智能机器人首先要能够听懂人类语言,然后分解任务,规划子任务,在移动中识别物体,与环境交互,最终完成相应任务。GPT等大模型的出现提供了新思路——已有不少研究者尝试将多模态的大语言模型与机器人结合起来,通过将图像、文字、具身数据联合训练,并引入多模态输入,增强模型对现实中对象的理解,帮助机器人处理具身推理任务。
高新兴机器人与华为云、上海交通大学、重庆大学等高校和大型研发机构在行业大模型进行合作,高新兴机器人提供行业数据、语料库以及机器人底层软件和具身智能模型落地支持,共同面向巡逻机器人智能化开展具身智能大模型研发。
追加内容

本文作者可以追加内容哦 !