自监督学习中准确率-鲁棒性权衡与训练效率的实证研究
计算机视觉与模式识别
2025-01-08 v1 机器学习
摘要
自监督学习（SSL）显著推动了图像表示学习的发展，但效率挑战依然存在，尤其是在对抗训练方面。许多SSL方法需要大量epoch才能收敛，在对抗设置中这一需求进一步放大。为了解决这一低效问题，我们重新审视了鲁棒EMP-SSL框架，强调了增加每张图像的裁剪数量以加速学习的重要性。与传统的对比学习不同，鲁棒EMP-SSL利用多裁剪采样，整合了不变性项和正则化，并减少了训练epoch，提高了时间效率。通过标准线性分类器和多补丁嵌入聚合进行评估，鲁棒EMP-SSL为SSL评估策略提供了新的见解。我们的结果表明，基于鲁棒裁剪的EMP-SSL不仅加速了收敛，而且在干净准确率和对抗鲁棒性之间实现了更好的平衡，优于多裁剪嵌入聚合。此外，我们在多裁剪SSL中扩展了这种方法，引入了自由对抗训练，提出了无成本对抗多裁剪自监督学习（CF-AMC-SSL）方法。CF-AMC-SSL证明了自由对抗训练在减少训练时间的同时提高干净准确率和对抗鲁棒性的有效性。这些发现凸显了CF-AMC-SSL在实际SSL应用中的潜力。我们的代码公开在https://github.com/softsys4ai/CF-AMC-SSL。
引用
@article{arxiv.2501.03507,
title = {An Empirical Study of Accuracy-Robustness Tradeoff and Training Efficiency in Self-Supervised Learning},
author = {Fatemeh Ghofrani and Pooyan Jamshidi},
journal= {arXiv preprint arXiv:2501.03507},
year = {2025}
}