面向医疗健康的高效跨架构自监督表示学习
机器学习
2023-08-22 v1 人工智能
计算机视觉与模式识别
摘要
在医疗与生物医学应用中，极高的计算需求对采用表示学习构成了显著障碍。表示学习可通过从有限的医疗数据中学习有用先验来提升深度学习架构的性能。然而，最先进的自监督技术在采用更小批量规模或更短预训练轮次时性能下降，而这在临床环境中更为现实。为此，我们提出跨架构—自监督（CASS）。这一新颖的连体自监督学习方法协同利用 Transformer 与卷积神经网络（CNN）以实现高效学习。我们的实证评估表明，在四个不同的医疗数据集上，经 CASS 训练的 CNN 与 Transformer 优于现有自监督学习方法。仅使用 1% 标注数据微调时，CASS 平均提升 3.8%；使用 10% 标注数据时提升 5.9%；使用 100% 标注数据时达到显著的 10.13% 提升。值得注意的是，与最先进方法相比，CASS 将预训练时间减少了 69%，使其更适于临床部署。我们还证明 CASS 对批量规模与预训练轮次的变化具有显著更强的鲁棒性，使其成为医疗应用中机器学习的合适候选。
引用
@article{arxiv.2308.10064,
title = {Efficient Representation Learning for Healthcare with Cross-Architectural Self-Supervision},
author = {Pranav Singh and Jacopo Cirrone},
journal= {arXiv preprint arXiv:2308.10064},
year = {2023}
}
备注
Accepted at MLHC 2023. Extended conference version of arXiv:2206.04170