Fusion-Augmented Large Language Models: Boosting Diagnostic Trustworthiness via Model Consensus

文章总结与翻译

一、主要内容

该研究提出了一种多模型融合框架，利用ChatGPT和Claude两款先进大语言模型（LLMs），旨在提升胸部X光片诊断的可靠性，以CheXpert数据集为研究对象展开实验：

1. 数据集与实验设计：从包含224,316张胸部X光片的CheXpert数据集中，随机选取234个经放射科医生标注的样本用于单模态（仅图像）测试，另选取50个样本搭配模拟临床笔记用于多模态（图像+文本）测试。
2. 核心方法：基于LangChain框架实现多模型协同，通过BERTScore计算模型输出的语义相似度，设定95%的相似度阈值作为共识标准，无需模型微调即可实现输出级融合。
3. 实验结果：
   • 单模态场景下，ChatGPT准确率为62.8%，Claude为76.9%，融合共识后准确率提升至77.6%；
   • 多模态场景下，ChatGPT准确率提升至84%，Claude为76%，共识准确率高达91.3%，且模型一致性从72.6%提升至92%；
   • 共识框架在处理模糊或复杂病例时表现更优，能有效减少误诊，且可标记不确定病例供人工复核。

二、创新点

1. 提出模型无关的模块化框架，支持单模态与多模态输入，无需微调即可适配不同LLMs，兼容性强且部署成本低；
2. 设计基于