CLIMAT：用于膝关节骨关节炎轨迹预测的临床启发式多智能体 Transformer
机器学习
2021-12-08 v3 计算机视觉与模式识别
摘要
在医学应用中，深度学习方法的构建旨在自动化诊断任务。然而，从业者通常面临的一个临床相关问题是，如何预测疾病的未来轨迹（预后）。当前针对此类问题的方法往往需要领域知识，且应用复杂。在本文中，我们将预后预测问题表述为基于多模态数据的一对多预测问题。受由放射科医生和全科医生两名智能体构成的临床决策过程启发，我们用两个基于 Transformer 的组件对该预后预测问题建模，二者之间相互共享信息。该模型中的第一个模块旨在分析影像数据，第二个模块将第一个模块的内部表示作为 inputs，并将其与辅助患者数据相融合。我们展示了所提方法在预测结构性膝关节骨关节炎随时间发展方面的有效性。结果表明，所提方法在各项性能指标上优于最先进的基线方法。此外，我们通过实验表明，深度为 2 的多智能体 Transformer 已足以取得良好性能。我们的代码公开于 \url{https://github.com/MIPT-Oulu/CLIMAT}。
引用
@article{arxiv.2104.03642,
title = {CLIMAT: Clinically-Inspired Multi-Agent Transformers for Knee Osteoarthritis Trajectory Forecasting},
author = {Huy Hoang Nguyen and Simo Saarakkala and Matthew B. Blaschko and Aleksei Tiulpin},
journal= {arXiv preprint arXiv:2104.03642},
year = {2021}
}
备注
10 pages