面向医学影像数据的自监督学习预训练胶囊网络：克服数据集挑战
计算机视觉与模式识别
2025-02-10 v1 机器学习
摘要
深度学习技术正日益被采纳到诊断性医学影像中。然而，高质量大规模医学数据集的稀缺性是一个显著挑战，常常需要采用迁移学习方法。本研究探讨了用于结肠癌结肠息肉诊断的胶囊网络自监督学习预训练方法。我们使用 PICCOLO 数据集，其中包含 3,433 个样本，典型地体现了医学数据集的挑战：规模较小、类别不平衡以及数据分割间分布迁移。胶囊网络因其体系结构及层间信息路由机制而具备固有的可解释性。然而，其在主流深度学习框架中的本地实现有限，且缺乏预训练版本。这在以小规模医学数据集为目标时尤其紧迫，因利用预训练权重作为初始参数将大有裨益。我们探索了两种辅助自监督学习任务：颜色化和对比学习，用于胶囊网络预训练。我们将自监督预训练模型与其他初始化策略进行比较。我们的发现表明，对比学习和填充技术是医学领域自监督学习的合适辅助任务。这些技术帮助模型捕获对下游任务（息肉分类）有益的重要视觉特征，使其准确率提高了 5.26%。
关键词
引用
@article{arxiv.2502.04748,
title = {Self-Supervised Learning for Pre-training Capsule Networks: Overcoming Medical Imaging Dataset Challenges},
author = {Heba El-Shimy and Hind Zantout and Michael A. Lones and Neamat El Gayar},
journal= {arXiv preprint arXiv:2502.04748},
year = {2025}
}