MGA：通过文本引导知识转换的医学通才智能体
计算机视觉与模式识别
2023-03-16 v1
摘要
多模态表征方法通过从多域数据中提取更鲁棒的特征，已在医学应用中取得先进性能。然而，现有方法通常需为下游任务训练额外分支，这可能增加临床应用中的模型复杂度，并引入额外的人类归纳偏置。此外，极少研究利用临床日常报告中蕴含的丰富临床知识。为此，我们提出一种新颖的医学通才智能体 MGA，可通过临床报告知识转换处理三类常见临床任务。与现有方法不同，MGA 在对应标注缺失时无需特定下游分支即可轻松适配不同任务。更重要的是，我们首次尝试使用医学专业语言引导作为传输媒介来指导智能体行为。所提方法在四个知名 X 射线开源数据集 MIMIC-CXR、CheXpert、MIMIC-CXR-JPG 与 MIMIC-CXR-MS 上实现。取得了有前景的结果，验证了所提 MGA 的有效性。代码见：https://github.com/SZUHvern/MGA
引用
@article{arxiv.2303.08562,
title = {MGA: Medical generalist agent through text-guided knowledge transformation},
author = {Weijian Huang and Hao Yang and Cheng Li and Mingtong Dai and Rui Yang and Shanshan Wang},
journal= {arXiv preprint arXiv:2303.08562},
year = {2023}
}