要点
我认为，医学 AI 的根本挑战在于可扩展性——能否跨越不同解剖部位、不同任务，甚至不同成像方式。计算机视觉（CV）模型无法独自解决这个问题。出路在于借助 LLM 构建统一的智能系统，让系统能够以更接近人类的方式学习和推理。
多模态大语言模型（MLLM）正展现出令人印象深刻的能力，但它们在不同类型医学图像上的表现并不均衡。
-
二维成像（如 X 射线）：MLLM 在诊断任务上已经达到住院医师水平。
-
三维成像（如 CT 扫描）：这些模型还不能有效满足实际临床使用的需要。
核心问题：缺乏可扩展性
讲到这里，我要开始把 LLM 引入讨论了。但为什么？ 今天，医学图像分析中利用先验知识的方式，很像深度学习之前的时代：研究者需要手工设计核函数、特征和复杂的工作流程。同样，如今的医学影像工作流程仍需要为每个具体任务，手工设计损失函数、网络和专门的数据集准备流程。
然而，这种做法无法规模化。一个任务上的进展，很少能直接迁移到另一个任务：
-
一个最先进的肺结节检测器，对构建肝结节检测器帮助有限。
-
一个判断乳腺病灶良恶性的分类器，为甲状腺病灶分类提供的起步帮助也很有限。
-
一个在 CT 中分割冠状动脉的模型，对在 MRI 中分割同样的血管用处不大。
基础模型或许能提供一个起点，但如果不经过大量微调，它们几乎从来不能直接用于临床。这不仅是 CV 的问题，更是根植于医学数据本身的根本挑战。自然语言处理（NLP）领域也面临类似困境；有一个颇受关注的项目，竟为医学命名实体识别构建了 380 个专用模型。1我们困在不断搭建一批批小而孤立的模型的循环中。
为什么会这样？
-
视觉差异：医学影像数据集天然包含细微却至关重要的视觉差异。这些差异来自扫描设备厂商、采集方案，甚至同一疾病亚型内部的不同视觉表型。缺乏足够的监督，就难以有效捕捉这些变化。2
-
任务定义的歧义：怎样执行任务才算“正确”，高度依赖临床目标。以肝脏分割为例：手术规划可能需要排除大血管，而常规体积测量可能会将它们纳入。如何处理成像伪影、如何界定模糊的解剖边界——依靠解剖知识，还是只看视觉线索——这些选择都可能随着应用或数据集的不同而发生很大变化。
-
现有标注方法的局限：即使任务定义明确，现有标注方法也不足以表达复杂的临床语义。我们常常依赖单一分割掩膜或独热标签这样过于简化的工具，来传达复杂的临床目标。这种简化迫使模型从过于简单的标签中解读复杂的视觉和上下文信息，导致监督信号经常带有噪声、彼此不一致，而且语义浅薄。
MLLM：通向可扩展智能的一条路
临床医生能够用很少的数据适应新任务和新领域，正是因为他们有能力直接应对这些挑战：
-
视觉专长：高度发展的视觉处理能力，让临床医生能够 有效跨越视觉领域之间的差异 。
-
上下文理解：对临床背景和任务目标的深入理解，帮助临床医生处理任务中的歧义。
-
全面训练：丰富的生物学和临床知识，让临床医生能够超越表面观察进行推理，把视觉模式组织成连贯的临床解读。
用更多数据和参数扩展传统 CV 模型，或许能改善它识别低层视觉模式的能力，但很难赋予它真正进行医学推理、理解任务要求所需的概念性理解。3
这正是 MLLM 可以发挥作用的地方。
-
视觉编码器捕捉并描述低层视觉模式，应对视觉领域之间的差异。
-
包含丰富上下文的提示词，在训练和推理时明确界定任务要求。
-
在大量医学书籍和报告上预训练的大语言模型（LLM），则专注于理解高层概念、运用临床知识和进行推理。
这种职责分工，自然契合我在关于数据标注的思考中主张的“让专业知识各得其所”。
好消息是，这条路行得通。比如，Google 的 Med-Gemini 已经表明：中等规模的模型配合可行的数据量，也能在二维图像任务上取得有希望的结果。 一项独立研究甚至发现，Med-Gemini 在胸部 X 射线诊断准确率上超过了放射科住院医师。 4
三维挑战：为什么 CT 难住了 MLLM
尽管二维图像上取得了成功，将这一范式推广到 CT 等三维成像方式却并不容易。差距在哪里？
-
从理解到定位：多数二维医学 AI 基准是“理解”任务（例如，“这张 X 射线片的主要发现是什么？”），视觉线索在其中起主导作用。这恰好契合 MLLM 的长处。但三维分析高度依赖精确定位和密集预测（例如，“病灶在哪里，准确体积是多少？”），而在这些任务上，当前 MLLM 明显落后于专用 CV 模型。5
-
粒度不匹配：MLLM 所使用的视觉 token，对网络层的选择、图像分辨率和预训练策略都高度敏感。6在 CT 中，这一局限尤其突出，因为所需的粒度跨度很大：既要识别毫米级病灶，也要理解亚米级范围内更广泛的解剖上下文。
-
数据瓶颈：MLLM 依赖海量的图像与详细文本标注配对数据。胸部 X 射线、皮肤科、病理科和眼科等任务，已经有足够数量的报告与二维图像配对数据。7但三维影像数据仍 严重不足 。
注：这一领域正在快速发展。Google Health 已在尝试基于视频预训练模型 VideoCoCa，将 CT 扫描建模为一系列二维切片。8面向长视频序列的 MLLM 也在兴起，9这些进展可能为更好的三维理解铺路。
结语
借助 LLM，是构建真正可扩展的医学 AI 最有希望的路径。它们的价值不在于聊天能力，而在于能够利用丰富、详细的标注进行训练——这些内容是简单的 CV 标签无法表达的。它们已经具备大量生物学和临床知识，为视觉模型补上所欠缺的概念框架。
眼下的挑战，是让这一强大的组合在 CT 和 MRI 等更高维的数据上真正发挥作用。在下一篇文章（英文草稿）中，我会提出一种可能的解决方案：一个老套、毫不意外的诊断智能体。
出处与延伸
参考资料
- Unlocking Healthcare AI: I’m Releasing State-of-the-Art Medical Models for Free. Forever. https://huggingface.co/blog/MaziyarPanahi/open-health-ai ↩
- HOW WELL DO SUPERVISED 3D MODELS TRANSFER TO MEDICAL IMAGING TASKS? https://www.cs.jhu.edu/~zongwei/publication/li2023suprem.pdf ↩
- 张祥雨关于多模态与推理的分享 ↩
- ReXVQA: https://arxiv.org/pdf/2506.04353 ↩
- How Well Does GPT-4o Understand Vision? Evaluating Multimodal Foundation Models on Standard Computer Vision Tasks: https://github.com/EPFL-VILAB/fm-vision-evals ↩
- Perception Encoder: The best visual embeddings are not at the output of the network: https://arxiv.org/pdf/2504.13181 ↩
- Med-Gemini: https://arxiv.org/abs/2507.05201 ↩
- https://github.com/Google-Health/imaging-research/tree/master/ct-foundation#overview ↩
- Long-RL: Scaling RL to Long Sequences: https://github.com/NVlabs/Long-RL ↩