基于不一致性的多模态框架与多智能体临床推理
机器学习
2026-04-21 v1 人工智能
摘要
滑膜关节炎常常存在影像学所观察到的结构损伤与患者报告的症状（如疼痛）之间的不一致性。这种错位 complicate了临床解读和患者分层，在现有决策支持系统中仍未得到充分建模。我们提出了一个考虑不一致性的多模态框架，将机器学习预测模型与基于工具的多智能体推理系统相结合。使用 FNIH 骨关节炎生物标志物联盟的基线数据，我们训练了多模态模型以预测两种疗效任务：仅关节间隙流失的疗效与否，以及仅疼痛的疗效与否。该预测系统集成了三个模态特定专家：一个使用人口学、放射学、MRI 提取的标量特征和生物标志物特征的 CatBoost 表格模型；以及使用 ResNet18 主干网络提取的 MRI 图像嵌入和 X 光片嵌入。专家预测通过堆叠集成进行融合。基于残差的模型用于从结构特征估计预期疼痛，从而计算观察症状与预期症状之间的疼痛-结构不一致性得分。一个多智能体推理层解释这些信号，为关节炎表型分配临床可解释的表型并生成表型特定的管理建议。
引用
@article{arxiv.2604.16333,
title = {A Discordance-Aware Multimodal Framework with Multi-Agent Clinical Reasoning},
author = {Pegah Ahadian and Mingrui Yang and Sixu Chen and Xiaojuan Li and Qiang Guan},
journal= {arXiv preprint arXiv:2604.16333},
year = {2026}
}