近日清华大学精密仪器系的施路平教授团队，提出一种基于视觉原语的互补双通路类脑视觉感知新范式，研制出世界首款类脑互补视觉芯片“天眸芯”。该研究成果的论文“面向开放世界感知、具有互补通路的视觉芯片”作为封面文章，登上5月30日的《Nature》杂志封面文章。这是该团队继异构融合类脑计算“天机芯”后，第二次登上《Nature》杂志封面，标志着中国在类脑计算和类脑感知方向取得重要突破。
新范式突破行业瓶颈
此次清华团队提出了一种基于视觉原语的互补双通路类脑视觉感知新范式。该范式借鉴了人类视觉系统的基本原理，将开放世界的视觉信息拆解为基于视觉原语的信息表示，并通过有机组合这些原语，模仿人视觉系统的特征，形成两条优势互补、信息完备的视觉感知通路。基于这一新范式，团队进一步研制出了世界首款类脑互补视觉芯片“天眸芯”。
基于“天眸芯”，团队还自主研发了高性能软件和算法，并在开放环境车载平台上进行了性能验证。在多种极端场景下，该系统实现了低延迟、高性能的实时感知推理，展现了其在智能无人系统领域的巨大应用潜力。
结合团队在类脑计算芯片“天机芯”、类脑软件工具链和类脑机器人等方面已应用落地的技术积累，“天眸芯”的加入将进一步完善类脑智能生态，有力地推动人工通用智能的发展。
“天眸芯”在极低的带宽（降低90%）和功耗代价下，实现了每秒10000帧的高速、10bit的高精度、130dB的高动态范围的视觉信息采集。它不仅突破了传统视觉感知范式的性能瓶颈，而且能够高效应对各种极端场景，确保系统的稳定性和安全性。它不仅为智能革命的发展提供了一个强大的技术支持，还为自动驾驶、具身智能等重要应用开辟了新的道路。
主要突破点
在开放世界中，智能系统不仅要应对庞大的数据量，还需要应对如驾驶场景中的突发危险、隧道口的剧烈光线变化和夜间强闪光干扰等极端事件。而传统视觉感知芯片面对此类场景往往出现失真、失效或高延迟，限制系统的稳定性和安全性。
“天眸芯”基于视觉原语的互补双通路类脑视觉感知新范式，模仿人视觉系统的特征，形成两条优势互补、信息完备的视觉感知通路，包括了“基于视觉原语的表征”，以及“两条互补视觉通路”（CVP）。这一范式借鉴了人类视觉系统（HVS）的基本原理。因为与现有的图像传感器相比，HVS在开放世界中更具优势。
视觉原语包括但不仅限于颜色、数据精度、灵敏度、空间分辨率、速度、绝对强度、空间差（SD）和时间差（TD）。
CVP包括两条不同的通路：认知导向通路（COP）和行动导向通路（AOP）。与HVS中的腹侧通路（Ventral stream）和背侧通路（Dorsal stream）相类似。
COP使用颜色、强度、高空间分辨率和高精度等视觉原语，来实现精确认知，最大限度地减少空间混叠和量化误差。AOP使用SD、TD、速度等视觉原语，来实现鲁棒、高稀疏的快速反应，从而解决数据冗余和延迟问题。
互补双通路类脑视觉感知将开放世界的视觉信息拆解为“视觉原语”，这些“视觉原语”各自描述了视觉信息的一种基本要素。然后通过有机组合这些原语，借鉴人视觉系统的特征，形成两条优势互补、信息完备的视觉感知通路。
据了解，“天眸芯”采用90纳米背照式CMOS（Back-illuminated sensor）技术制造，包含了两个核心部分：用于将光学信息转换为电信号的混合像素阵列；用于构建两个CVP的并行和异构读出架构。
混合像素阵列模仿受感光细胞（photoreceptor cell）由锥体和杆体感光神经元构成模式，一种组合为类锥体功能传感器，一种组合为类杆体传感器，两层传感器具有不同的特性，如颜色、响应模式、分辨率和灵敏度。
类锥体功能像素传感器组合可以将视觉信息，解析为特定的颜色（红、绿、蓝），以及白色光谱，以作为颜色对立视觉原语。同时还可以通过，高或低的电荷到电压转换增益，调整为四种不同的灵敏度，从而利用高增益模式的低噪声和低增益模式的高饱和容量，以实现高动态范围。传感器单元采用4微米精细间距，用于绝对强度感应。
类视杆细胞的传感器组合则有两个较大的感受视野，传感器分别组成为8微米和16微米的大像素传感器，用于感应TD和SD。工作原理时空连续像素架构，以乒乓操作（ping-pong behaviour）缓冲历史电压信号，以便在AOP读出中连续计算TD。通过使用高密度像素内存，进而实现TD和SD计算。
两种混合像素阵组合实现了包括320×320个类锥体传感器排列和160×160个类杆体传感器排列，两种排列传输的电信号会表现出不同的特性，包括数据分布和稀疏性的差异，以适当速度和精度，将信号编码为数字数据，进而实现了高空间分辨率和精度两个数据的采样与融合。
“天眸芯”产品通过结合COP图像与AOP-TD和AOP-SD，逐帧重建高速视频的高速运动， CVP上的算法提供了互补和多样的结果，为这些场景中的进一步决策，提供了充足的空间，避免了常规视觉传感器组合产品常易出现的空间混叠和量化误差，在采样速度、分辨率和动态范围方面，具备多样的传感能力，克服了同质表征造成的低效率。在极端环境中，比如经过隧道，闪光灯干扰，以及汽车前方有人走过，依然能保持快速和鲁棒的响应，可以适应开放世界中的各种极端情况。
同时由于类视杆细胞的传感器组合数据的稀疏性，AOP在瞬态现象期间的峰值带宽消耗仅约50MB/s，“天眸芯”产品相比于具有相同时空分辨率和精度的传统相机（640×320×10,000×2）减少了90%。“天眸芯”功耗是根据操作模式变化来进行自适应调整，在典型模式下（7位，1,515fps无阈值）平均为368mW。
免责声明：图文源自互联网，分享行业发展动态，不作任何商业用途，如有侵权，请联系删除。内容仅供阅读，不构成投资建议，请谨慎对待。投资者据此操作，风险自担。
本文作者可以追加内容哦 !
