METransformer：基于带多个可学习专家令牌的 Transformer 的放射学报告生成

在临床场景中，多专家会诊可显著裨益诊断，尤其是对于复杂病例。这启发我们探索一种“多专家联合诊断”机制，以升级当前文献中常见的“单专家”框架。为此，我们提出 METransformer，一种以基于 transformer 的骨干网络实现该思想的方法。我们方法的关键设计是在 transformer 编码器和解码器中均引入多个可学习的“专家”令牌。在编码器中，每个专家令牌与视觉令牌及其他专家令牌交互，以学习关注不同的图像区域用于图像表示。通过最小化其重叠的正交损失，这些专家令牌被鼓励捕获互补信息。在解码器中，每个被关注的专家令牌引导输入词与视觉令牌之间的交叉注意力，从而影响生成的报告。进一步开发了基于度量的专家投票策略以生成最终报告。通过多专家概念，我们的模型享有基于集成的方法的优点，但以计算更高效且支持专家间更复杂交互的方式实现。实验结果在两个广泛使用的基准上证明了我们提出模型的前景性能。最后但同样重要的是，框架层面的创新使我们的工作能够整合现有“单专家”模型的进展以进一步提升其性能。