评估为医学多模态 AI 合成临床笔记的策略
人工智能
2025-12-01 v1 计算机视觉与模式识别
摘要
多模态（MM）学习正在成为生物医学人工智能（AI）应用中一种有前景的范式，它整合了互补模态，这些模态突出了患者健康的不同方面。大型异质生物医学 MM 数据的稀缺限制了医学 AI 应用稳健模型的发展。例如，在皮肤病学领域，皮肤病变数据集通常仅包含与描述病情的极简元数据相关联的图像，从而限制了 MM 数据整合对可靠和可泛化预测的益处。大型语言模型（LLM）的最新进展使得能够合成图像发现的文本描述，可能允许图像和文本表示的组合。然而，LLM 并未专门训练用于医学领域，其朴素引入引发了对临床相关背景下幻觉风险的担忧。本研究调查了生成合成文本临床笔记的策略，包括提示设计和医学元数据包含，并评估它们对 MM 架构在增强分类和跨模态检索任务性能方面的影响。跨多个异质皮肤病学数据集的实验表明，合成临床笔记不仅增强了分类性能，特别是在领域转移下，而且解锁了跨模态检索能力，这是一个在训练期间未显式优化的下游任务。
引用
@article{arxiv.2511.21827,
title = {Evaluating Strategies for Synthesizing Clinical Notes for Medical Multimodal AI},
author = {Niccolo Marini and Zhaohui Liang and Sivaramakrishnan Rajaraman and Zhiyun Xue and Sameer Antani},
journal= {arXiv preprint arXiv:2511.21827},
year = {2025}
}