谷歌研发增强现实显微镜，能更早发现癌症

摘要：AR+AI几秒准确标记肿瘤位置！谷歌这项技术或将彻底改变癌症检测和诊断。

谷歌近日为其新研发的“增强现实显微镜”（ARM）申请了专利，这台显微镜采用了人工智能增强功能，能在操作载玻片时实时将检测结果投射到视野上，不仅能放大细胞，还能为它们描绘出醒目的视觉标记，让癌细胞无处遁形，帮助医生更早发现癌症。ARM彻底改变了病理学家检查生物样本的方式，标志着增强现实+人工智能在医疗领域的又一重大突破。

最佳仲裁员

西雅图退伍军人医院办公室里，一场争论正在两位医生间发生。

Nadeem Zafar医生是一位病理学家，主要对体液和组织进行临床实验室测试，以诊断癌症等疾病。这是一项经常在幕后运作的工作，但它是医疗保健的关键支柱。

另一位医生是Zafar的同事，他咨询了一个癌症病例。很明显，这名患者患有癌症，但两位医生在病情严重程度上存在分歧。Zafar认为癌症比他的同事预料得更具攻击性。

Zafar转向他的显微镜——这是一种深受医生喜爱的病理学工具，医生们依靠它来帮助做出诊断。但这不是一台普通的显微镜，它是由谷歌和美国国防部合作研发制造的增强现实显微镜——ARM （Augmented Reality Microscope） 。

两人用这台特殊的显微镜观察了这个病例。几秒钟后，人工智能标记出了Zafar认为更具攻击性的肿瘤确切部位。事实证明他是对的。Zafar的同事被说服了。在接受媒体记者采访时，Zafar表示：“这就是这项技术的美妙之处，它很像一位仲裁员。”

病理学家的新工具

多年以来，谷歌公司和美国国防部一直在悄悄地研究这种由人工智能驱动的增强现实显微镜。目前这项技术仍处于早期阶段，尚未广泛用于帮助诊断患者，但初步研究显示它很有希望，极有可能成为病理学家的有用工具。

乍一看，ARM很像高中生物教室里的显微镜。该设备是米色的，有一个大目镜和一个托盘，盘上有用于检查的传统的载玻片。显微镜连接到一个方形的计算机箱塔上，里面装有人工智能模型。

当准备好载玻片并将其固定在显微镜下时，人工智能能够勾勒出癌症的位置。轮廓看起来是一条亮绿色的线，病理学家可以通过目镜和单独的监视器看到。人工智能还指示癌症的严重程度，并在监视器上生成黑白热图，以像素化的形式显示癌症的边界。

在最近的一份专利申请中，谷歌将ARM描述为“病理学家用来观察含有组织或血液等生物样本的载玻片的显微镜”。该显微镜的与众不同之处在于，它能够在操作载玻片时实时将增强功能投射到视野上，为病理学家提供宝贵的意见。

这些增强功能起到了辅助作用，为病理学家提供了表征或分类样本的重要信息。例如，ARM可以帮助识别样本中癌症细胞或病原体的存在，从而有可能彻底改变癌症的早期诊断和治疗。

用于诊断癌症的组织切片包含大量信息，破解这些信息非常费时费力。每个细胞都要进行检查，癌症有时候很难识别。ARM把AR+AI技术和显微镜结合起来，实时检查癌症。摄像头把有关信息传输到电脑上，电脑会进行上亿次计算，告诉医生哪些是肿瘤哪些不是。

增强现实显微镜具备的癌症知识是由众多病理学家通过训练机器学习模型赋予的。ARM有一个病理学家团队，他们用上万张图片来教计算机如何识别癌细胞。

这套系统可以让医生的工作更快，效果更好，提高癌症诊断的精确度。

谷歌ARM项目的一个值得注意的方面是，它致力于补充而不是取代医院和诊所中常见的现有显微镜。其目的是创建一个可以轻松改装到医疗机构基础设施中的系统。ARM可以提供丰富的视觉反馈，包括文本、箭头、轮廓、热图和动画。上述要素中的每一个都可以根据具体的评估目标进行定制，这就为病理学家提供了一个增强诊断能力的强大工具。

简易实用，方便存储

目前有13个ARM原型正在进行测试，其中一个位于华盛顿特区近郊的Mitre公司。

Mitre是一家非营利组织，与政府机构合作解决涉及技术的重大问题。该公司以网络安全、航空科技著称，是全球网络安全领域技术创新的领跑者。疫情期间，该公司曾帮助美国疾控中心建立疫情监控系统，合作对抗新冠病毒大流行。目前Mitre的研究人员正在与ARM合作，以确定在临床环境中可能给病理学家带来的漏洞。

近年来，就像医疗服务的许多其他方面一样，病理学家一直在为人员短缺而苦恼。随着普通人群年龄增长，患者增多，病理学家的工作量也在日益增加。这种局面很危险。如果因病理学家人手紧张而在检测中遗漏了什么，很可能会对患者产生严重后果。

一些相关机构一直在尝试将病理学家的工作流程数字化，以提高效率，但数字病理也带来了许多挑战。数字化一张幻灯片可能需要超过千兆字节的存储空间，这会使与大规模数据收集相关的基础设施和成本迅速大幅增长。对于许多经费不多的较小医疗机构来说，实现数字化是有一定难度的。

ARM有意选择了一种简易实用的设计。Mitre的自主系统高级工程师Patrick Minot说：“ARM人工智能直接覆盖在显微镜的视野上，它不会中断病理学家既定的工作流程。它并非要取代数字病理系统，而是可以帮助人们避开对数字病理系统的需求。例如，病理学家可以选择使用ARM的软件对幻灯片进行截屏，这样存储成本要低得多。”购置一套ARM设备约需花费9万至10万美元，这对于众多规模不大的部队医院和普通医疗机构是完全可以承受的。

构筑第二道防线

ARM的最初创意来自一位在海军服役的病理学家——Niels Olson博士。2016年8月10日，Olson在圣地亚哥海军医疗中心做住院医生时，已经设计出了像类似ARM这样的工具。他发给谷歌一条信息，描述了他的大致想法。

几个月后，Olson站在了加州山景城的谷歌办公楼里，挤在一间只有公司少数人才能进入的锁着的房间中。在那里，他看到一台早期的人工智能显微镜在他随身携带的一小组载玻片上成功地识别出癌症。Olson说，当时感觉房间里很闷热，因为里面的每个人都特别兴奋。Olson说：“我不想说这就像是第一次见到你的孩子，但这有点像，这太棒了，这将是一件大事。”。

2018年，Olson被派往关岛，在那里担任海军医院的实验室医学主任和血库主任。在关岛的两年里，他是岛上两名病理学家之一，也是海军医院唯一的病理学家。这意味着他经常独自做出重大决策和诊断。

Olson在接受媒体采访时说：“你的工作不仅仅是说‘这是癌症，这是一种癌症。’工作的一部分是说‘绝对不是癌症’，当你独自一人时，这可能会让人神经紧张。”。“我很想在关岛拥有一台增强现实显微镜，这样就会有人，有其他人在帮忙。”

ARM旨在成为病理学家的第二道防线，Olson表示，它不会取代医生。增强现实显微镜的最初使用案例可能是在较小的远程实验室中，它也可以作为病理学住院医师培训的资源。

大约在Olson被派往关岛的时候，美国国防部DIU（Defense Innovation Unit：国防创新部门）的一位产品经理偶然发现了他的研究。DIU创建于2015年，是军方整合商业界开发尖端技术的一个部门。该部门与公司谈判合同，以便能够展开合作，并避免官僚作风。2019年，两人共同撰写了一篇文章，讲述了国防部和硅谷如何合作利用人工智能。

他们表示，联邦政府的医疗保健系统中有数百万患者，这意味着它拥有世界上最全面的医疗保健数据集。这些数据显然具有商业用途。他们写道：“大数据是硅谷做得最好的，向民用医疗系统扩散的潜力巨大。”此后不久，DIU开始寻找商业合作伙伴来帮助构建和测试ARM。它选择了著名光学技术公司Jenoptik处理硬件，在评估了39家公司后选择了谷歌来开发软件。

推出四种算法，仍需大量测试

谷歌云医疗保健战略和解决方案全球总监Aashima Gupta表示，该公司已经为ARM推出了四种算法，可以识别乳腺癌、宫颈癌、前列腺癌和有丝分裂。

人工智能模型是根据DIU的数据进行训练的。Gupta表示，谷歌员工和谷歌基础设施都无法访问这些数据。Gupta在接受媒体采访时说：“它一直都是加密的，从数据的收集方式、存储方式和分析方式、以及介于它们之间的一切。”

随着硬软件就绪，下一步需要对ARM进行大量测试。DIU已经开始了这方面的初步工作，目前正在测试ARM的功效。2022年秋季，该组织在《病理信息学杂志》上发表了一篇同行评审论文。论文的主要作者、国防部首席数字和人工智能办公室人工智能评估副主任David Jin表示，该论文指出了乳腺癌人工智能算法在大量样本中表现相当不错，但也有一些需要注意的地方。

这篇论文还专门研究了人工智能在检测癌症淋巴结转移时的表现，金说它在某些类型的细胞上比其他类型的细胞表现更好。他说，这项研究很有希望，但在为病理学家提供真正的帮助之前，仍需要进行大量严格的测试。金指出：“这样的事情有极大的好处，但也有很多风险。”因为它会改变癌症的诊断方式。

Niels Olson从关岛返回，于2020年开始在DIU工作，成为DIU的首席医疗官。他也被列为该论文的作者。他说，其他三种模型，即宫颈癌、前列腺癌和有丝分裂，尚未在DIU进行独立评估。

ARM的研究正在进行之中，DIU还在征求Mitre公司和退伍军人事务部卫生保健系统的反馈，还有很多工作要做。但由于已经验证了最初的概念，DIU开始考虑如何扩大技术规模并与监管机构合作。

DIU与谷歌和Jenoptik谈判达成协议，允许该技术通过军事和商业渠道分发。DIU希望在今年秋天的某个时候，通过负责政府采购的美国总务管理局的网站，向所有政府用户推出ARM。

西雅图退伍军人医院的Zafar医生表示，ARM首先肯定会帮到病理学家，但公众最终将从这项技术中受益最大。ARM的准确性、速度和成本效益都将有助于更好的诊断和治疗。

改变与期待

增强现实显微镜通过提供实时视觉增强，以协助病理学家进行关键性工作，有可能彻底改变癌症检测和诊断的方式。

谷歌致力于加强现有的医疗保健基础设施，同时探索增强现实加持人工智能的无限可能性，突显了它在塑造医疗保健和技术未来方面的重要作用。

我们期待ARM早日正式投入使用，同时期待更多科技企业在医疗领域做出更多突破性的创新，以造福人类。

文/维克多（文中未标注的图片均来源于网络）

点个赞再走吧~