研究介绍
•
研究背景
Background
近年来，计算病理学因数字切片扫描、AI研究、大型数据集和高性能计算资源的融合而显著进步。深度学习技术解决了癌症分型、分级、转移检测和治疗响应预测等任务。然而，自然语言在病理学中的重要性尚未完全体现。大语言模型和多模态生成AI的发展为计算病理学开辟了新前沿，通过自然语言和人类互动提升用户体验。多模态AI如ChatGPT展示了在病理图像分析、初步诊断和教育培训中的潜力，能够在临床决策、研究和医学教育中提供支持，促进病理学的发展
研究目的
Objectives
研究人员旨在开发并评估PathChat，一个专为病理学设计的多模态生成型AI助手。PathChat由定制的多模态大语言模型（MLLM）驱动，能够处理视觉和自然语言输入，采用对话形式来进行病理学领域的各种病理案例分析。
研究方法
•
1、数据收集和准备
整理了目前最大的病理学领域的指令微调数据集，包括 456,916 条指令和 999,202 个问答回合，涵盖了各种格式（例如，多轮对话、多项选择问题、简短回答）
2、模型设计和训练
利用UNI模型进行视觉编码器的预训练，基于病理图像块进一步进行视觉语言预训练。然后将生成的视觉编码器连接到130亿参数的Llama 2 LLM，使用构建的数据集对形成的MLLM构架进行微调，得到AI助手PathChat。
3、性能评估和验证
基于构建的专家策划的病理学问答基准数据集（PathQABench）对比了PathChat、通用SOTA MLLM LLaVA 1.5、医学专用MLLM LLaVA-Med、商业解决方案GPT4V的性能。评估指标包括多项选择题的诊断准确率和开放式问答的准确率，同时进行了由7位病理学家进行的人工评估排名。
研究发现
•
1. PathChat构建
图1：指令跟随数据集整理和PathChat概述。a.病理学指令数据集，研究中使用了超过100万张切片图像和118万个病理图像字幕对进行预训练，最终微调了超过45万条指令，涵盖999,202个问答轮次。b.从UNI模型开始到形成PathChat的过程。
图1
2. PathChat多项选择评估
图2：多项选择评估。a. PathChat展示了在多项选择式诊断问题中的应用。病理学家选定显著组织学图像ROI，并附加由他们提供的临床背景信息，以蓝色显示，帮助支持诊断结果的选择。b.MLLMs在多项选择式诊断问题上的准确性。在公开病例的问题（PathQABench-Public）上，与GPT4V进行了比较，PathChat表现得更好。
图2
3. PathChat响应评估
图3：PathChat的开放式响应评估和七名病理学家的读者研究。a. 通过7名病理学家评估了260个开放式问题上四个AI助手模型的响应排序。b. 比较了PathChat和其他MLLMs在开放式问题上的表现，显示了中位数获胜率和中位数获胜+平局率。c. 对一个由两名病理学家达成共识的子集（235个问题）进行了MLLMs的准确性评估。d. 分析了在共识子集上不同类别问题的准确性：显微镜检查问题（101个）、诊断问题（79个）、临床问题（61个）、辅助检测问题（76个）。
图3
4. PathChat使用案例
图4：交互式多轮对话的额外使用案例。PathChat可以推断肿瘤的原发部位(a)；指导免疫组化（IHC）解释（b）；遵循肿瘤分级的知名指南（c）；提供疑似恶性肿瘤的潜在IHC结果建议（d）;帮助医生进行需要多轮免疫组化检查的复杂差异诊断（e）。
图4
研究讨论
•
小结
Summary
研究提供了专为人类病理学设计的AI助手PathChat，并将其与其他模型性能做了比较。通过创建高质量的基准数据集PathQABench，评估了PathChat在形态学检查、诊断、肿瘤分级、建议进一步测试等方面的能力。结果显示，PathChat 在多项选择诊断题上优于其他 MLLMs，在开放式问答中能生成更准确和更优的答案，同时展示了其支持复杂诊断工作流程等额外用例的潜力。
研究局限性
Research Future
AI助手的性能和功能有待进一步优化。包括减少幻觉现象、增强诊断准确性，以及支持更复杂的病理学任务。这将通过引入强化学习等技术，增加对千兆像素WSI的支持，以及结合更新的医学知识和指南来实现。最终目标是提升AI助手在病理学实践中的应用价值和实用性。
参考文献
[1] Lu, M.Y., Chen, B., Williamson, D.F.K. et al. A Multimodal Generative AI Copilot for Human Pathology. Nature (2024). https://doi.org/10.1038/s41586-024-07618-3
END
文案 | 陈莎
排版 | 陈莎
审核 | 陈莎
发布｜姜笑南
世界生命科学大会
RECRUIT
关注我们，获取生命科学
学界前沿｜促进更多的学术交流与合作
业界前沿｜促进更快的产品创新与应用
政策前沿｜促进更好的治理实践与发展
本文作者可以追加内容哦 !
