跨架构正样本对提升自监督学习的有效性
计算机视觉与模式识别
2023-01-31 v1 人工智能
摘要
现有的自监督技术具有极高的计算需求，并且当批大小或预训练轮数减少时性能会大幅下降。本文提出跨架构-自监督（CASS），一种同时利用 Transformer 和 CNN 的新颖自监督学习方法。与现有的最先进自监督学习方法相比，我们通过实验表明，在四个不同的数据集上，CASS 训练的 CNN 和 Transformer 在 1% 标注数据下平均提升 3.8%，在 10% 标注数据下提升 5.9%，在 100% 标注数据下提升 10.13%，同时耗时减少 69%。我们还表明，与现有的最先进自监督学习方法相比，CASS 对批大小和训练轮数的变化要鲁棒得多。我们已在 https://github.com/pranavsinghps1/CASS 开源了代码。
引用
@article{arxiv.2301.12025,
title = {Cross-Architectural Positive Pairs improve the effectiveness of Self-Supervised Learning},
author = {Pranav Singh and Jacopo Cirrone},
journal= {arXiv preprint arXiv:2301.12025},
year = {2023}
}
备注
24 pages, 14 figures, Under Review. arXiv admin note: text overlap with arXiv:2206.04170