迈向自动化监管决策：基于多模态 Transformer 与自训练的可信医疗器械风险分类
机器学习
2025-05-02 v1 计算与语言
摘要
医疗器械风险等级的准确分类对于监管监督和临床安全至关重要。我们提出了一种基于 Transformer 的多模态框架，该框架融合文本描述和视觉信息来预测器械的监管分类。该模型采用交叉注意力机制捕捉模态间的依赖关系，并采用自训练策略在有限监督下提高泛化能力。在真实世界监管数据集上的实验表明，我们的方法达到了高达 90.4% 的准确率和 97.9% 的 AUROC，显著优于纯文本基线 (77.2%) 和纯图像基线 (54.8%)。与标准多模态融合相比，自训练机制将 SVM 的准确率提高了 3.3 个百分点（从 87.1% 到 90.4%），宏 F1 分数提高了 1.4 个百分点，这表明伪标签可以有效增强有限监督下的泛化能力。消融研究进一步证实了跨模态注意力和自训练的互补优势。
引用
@article{arxiv.2505.00422,
title = {Toward Automated Regulatory Decision-Making: Trustworthy Medical Device Risk Classification with Multimodal Transformers and Self-Training},
author = {Yu Han and Aaron Ceross and Jeroen H. M. Bergmann},
journal= {arXiv preprint arXiv:2505.00422},
year = {2025}
}