CX-Mind团队 投稿量子位 | 公众号 QbitAI胸片AI进入了一个新阶段不再只给诊断开始给推理。过去的医学影像AI更像“分类器”擅长回答有没有病、像不像某种病。但真实临床需要的是一条能被医生复核的推理路径。上海交通大学、上海创智学院与瑞金医院联合发布的CX-Mind是目前首个将胸片诊断推进为「可验证推理链」的多模态大模型——从看到异常到解释为什么、排除了什么、结论怎么来的每一步都有影像证据支撑。在横跨23个数据集、708,473张影像的评测中它在视觉理解、报告生成和时空对齐三大能力域平均提升25.1%。而在真实世界测试集Rui-CXR上多中心医生主观评估五项维度全部排名第一。为什么这项工作重要医学AI的关键矛盾正在改变胸部X光是临床最常用的影像检查之一也是医学多模态大模型最重要的真实场景。它的难点并不止于识别某个病灶而在于把影像观察、病灶定位、共病判断、报告生成、历史比较和临床语义整合到同一个诊断链条中。这也是过去很多胸片AI难以真正进入临床核心工作流的原因。模型可以给出一个看似准确的标签但医生仍然会追问依据是什么排除了哪些可能结论是否与报告 findings 一致如果模型错了错误发生在观察、鉴别还是总结阶段CX-Mind试图解决的正是这个更深层的问题。它不是把思维链写得更长也不是让模型生成一段听起来合理的解释而是把医学推理拆成可解析的think-answer交错单元每一步先围绕影像证据进行观察和推断再输出阶段性答案随后继续完成鉴别、定位、报告生成或病程判断。换句话说CX-Mind把医学影像大模型的目标从“给出答案”推进为“给出可审查的答案形成过程”。这使模型不再只是一个黑箱阅片工具而更接近医生可以协作、追问和复核的临床推理伙伴。△CX-Mind 总体框架CX-Mind的三重突破第一重突破重新定义胸片大模型的输出范式传统医学视觉模型大多遵循one-shot judgment路线输入影像输出标签、选项或报告。即便引入CoT也常常变成一整段难以验证的长文本。这样的解释看似完整却很难判断哪些中间步骤真正来自影像哪些只是语言模型生成的“医学叙事”。CX-Mind的关键设计是interleaved reasoning。在封闭式问题中它逐项评估候选答案给出保留或排除的证据在开放式问题中它先提出可能疾病再围绕每一种疾病进行证据核验最后形成诊断结论。这种输出方式更接近真实阅片先观察征象再形成假设再进行鉴别最后写出结论。这项工作的突破性不在于“让模型解释自己”而在于让解释成为训练和奖励的一部分。可解释性不再是事后附加的说明而是模型学习诊断能力时必须满足的结构约束。第二重突破用CX-Set构建胸片专家能力谱系要训练一个真正面向胸片诊断的大模型仅靠疾病标签远远不够。CX-Mind团队构建了大规模胸片指令数据集CX-Set——整合23个胸片相关公开数据集形成708,473张影像与2,619,148条指令样本并进一步构建42,828条由真实放射学报告监督的高质量交错式推理样本。CX-Set的设计遵循一个清晰问题一个胸片专家到底需要哪些能力论文将其拆解为三大能力域Visual Understanding用于疾病识别、单病判断和多病共存诊断Text Generation用于findings、impression和summarySpatiotemporal Alignment用于影像-文本匹配、体位识别、疾病进展判断和病灶定位。因此CX-Mind学到的不只是“某个标签是否存在”而是一套完整的胸片诊断工作流看图、定位、比较、鉴别、总结、生成报告。这也是它相较于单点分类模型更具基础模型价值的原因。第三重突破CuRL-VPR 让强化学习同时约束答案与路径医学诊断任务的强化学习难度远高于一般选择题。开放式答案空间复杂疾病可能共存医学表达存在多种等价写法更重要的是最终答案正确并不代表中间推理可靠。只奖励final answer容易造成奖励稀疏、credit assignment困难和医学幻觉。CX-Mind提出CuRL-VPR即curriculum-based reinforcement learning with verifiable process rewards。它的意思是先从简单题练起逐步加难训练时不只看最终答案对不对还用真实放射科报告来核查每一步推理是否有影像证据支撑。整个训练流程包括医学文本warm-up、大规模胸片指令微调、交错式推理cold-start以及基于GRPO的课程强化学习。在奖励机制上CX-Mind同时使用format reward格式奖励、final-result reward最终结果奖励和process reward过程奖励。模型不仅需要输出格式正确、最终答案正确还需要让中间think-answer步骤与真实放射学报告中的证据保持一致。这意味着强化学习不再只盯着终点而是开始关注路径质量。对于医学场景而言这一点极其关键一个来自错误证据的正确结论仍然不可接受一段没有报告证据支撑的解释仍然可能是幻觉。同时CX-Mind采用closed-to-open课程学习策略先在二分类和选择题等封闭式任务上建立稳定可验证奖励再迁移到开放式诊断任务。这种训练节奏更符合临床任务难度梯度也让开放式医学推理的RL过程更稳定。△CX-Mind四阶段训练管线结果越接近真实诊断交错式推理越显优势视觉理解多病共存和开放式诊断中优势更突出CX-Mind在二分类、单疾病识别、多疾病共存识别和开放式疾病识别中整体领先。论文显示相比胸片专用模型CX-Mind在三大能力域上取得25.1%平均性能提升。在更接近真实临床的复杂任务中这一优势更加明显。单疾病识别任务中CX-Mind相比CheXagent和ChestX-Reasoner平均提升19.5%和21.0%在多病共存诊断中相应提升达到63.5%和21.2%。这说明interleaved reasoning的价值不只是改善简单分类而是在多异常、多证据、多候选诊断同时存在时帮助模型更稳定地完成临床鉴别。△视觉理解评测报告生成从“识别异常”走向“专业表达”临床可用的胸片AI不能只给标签还需要把影像发现转化为规范、清晰、可修改的医学语言。CX-Mind在findings generation、impression generation和findings summarization等任务中取得SOTA表现。与GPT-4o相比CX-Mind在Finding Generation任务中BERTScore高1.6%、BLEU高7.6%、ROUGE平均高11.1%。在带indication的Finding Generation中BERTScore、BLEU 和 ROUGE 平均分别高出3.6%、21.7%和22%。在Impression Generation与Impression Generation with Indication中CX-Mind分别达到90.3%和80.7%的BERTScore。这意味着CX-Mind不只是“看图更准”还能够把影像证据转写为与金标准报告语义一致的专业表达为报告草拟、质控、教学和交互式问答提供基础能力。△报告生成评测时空对齐理解影像、文本、体位、时间和位置真实胸片诊断往往涉及纵向比较和跨模态对齐。医生需要判断同一患者不同时间点的病变进展也需要确认报告描述、拍摄体位和病灶位置是否一致。CX-Mind因此把Spatiotemporal Alignment作为核心能力之一。在image-text matching和disease progression任务中CX-Mind分别比最佳基线平均提升25.8%和30.2%。在 OpenI外部测试集上影像-文本匹配和体位识别分别达到76%和88.3%。在 RSNA与CXR-AL14外部定位数据集上CX-Mind的mean IoU分别达到38.5%和14.9%。这部分能力指向更大的临床空间随访比较、病程追踪、多模态病历整合以及未来影像Agent对患者纵向状态的理解。△时空对齐评测真实世界验证从公开数据集走向院内场景和医生评估医学 AI 的影响力最终必须通过真实世界检验。论文进一步构建Rui-CXR真实世界测试集原始数据来自上海交通大学医学院附属瑞金医院骨科2018-2023年采集的80,648名患者标准PA位胸片及报告。经过脱敏、筛选和一致性验证后形成4,031张高质量胸片测试集覆盖14种常见胸部疾病。在Rui-CXR上CX-Mind在 14 种疾病诊断中保持领先mean recall1明显超过第二名模型。在真实世界报告生成中标准Finding Generation的BERTScore达到0.80带indication的版本达到0.82较第二名模型平均提升约5%。△Rui-CXR真实世界评测更关键的是团队还邀请多中心、不同资历层级的临床医生进行主观评估评价维度包括Clinical Relevance、Logical Coherence、Evidence Support、Differential Diagnostic Coverage、Explanation Clarity。CX-Mind在五个维度上均获得最高平均分。这说明CX-Mind的优势不只是自动化指标而是医生能否读懂、信任和复核模型输出。对于医疗场景而言可审查性本身就是临床价值的一部分。△多中心医生评估更大的影响从胸片模型到医学智能体基础能力如果把CX-Mind放在医学AI的更大图景中它的意义在于推动了一个关键转向从“医学视觉模型”走向“医学推理模型”再走向“可被医生协作审查的医学智能体”。这一思路有望迁移到更多医学场景。例如胸部CT多癌种筛查需要模型在3D影像中分层定位病灶、结合报告和病史进行鉴别MRI需要跨序列整合病理需要高分辨率区域级证据全流程临床Agent更需要在入院评估、检查解释、治疗建议和随访管理之间保持连续推理。当然临床部署仍需要前瞻性研究、跨医院泛化验证、医生工作流集成、错误边界评估和监管审查。但从研究范式看CX-Mind已经给出了一个清晰信号下一代医学AI的核心竞争力不仅是“看得准”而是“推理得清楚、证据可复核、过程可协作”。作者简介论文共同第一作者为李文杰、张钰杰、孙浩然。李文杰为上海创智学院、上海交通大学、上海交通大学医学院附属瑞金医院联合培养在读博士生主要研究方向为Visual Reasoning、Multimodal Large Language Models与 Medical AI Agents。张钰杰为上海创智学院、复旦大学联合培养博士生主要研究方向为Vision-Language Model Reasoning、Reinforcement Learning与Large Language Models。孙浩然为复旦大学直博二年级博士生主要研究方向为Medical Multimodal Large Models, Self-Evolving Memory, AI4Science Experimental Automation。论文DOIhttps://doi.org/10.1016/j.inffus.2025.104027GitHub团队更新版https://github.com/SII-WenjieLisjtu/CX-MindHuggingFacehttps://huggingface.co/SII-JasperLi77/CX-Mind