跨多种下游任务基准化自监督学习的鲁棒性
计算机视觉与模式识别
2024-07-19 v2 人工智能
摘要
大规模视觉模型因其在下游任务上的卓越性能和多样化适用性而日益成为许多应用中不可或缺的组成部分。然而，这些基础模型的鲁棒性主要仅在单一任务（即图像分类）上得到探讨。其他常见视觉任务，如语义分割和深度估计的脆弱性仍大体未知。我们对自监督视觉编码器在多个下游任务上的对抗鲁棒性进行了全面实证评估。我们的攻击方式既作用于编码器嵌入空间，也作用于下游任务输出层。在两种情况下，仅针对分类测试的当前最先进对抗微调技术显著降低了其他任务上的干净和鲁棒性能。由于基础模型旨在同时满足多种应用场景，我们的发现揭示了需要更广泛地增强编码器鲁棒性的需求。我们的代码可在 ${github.com/layer6ai-labs/ssl-robustness} 获取。
引用
@article{arxiv.2407.12588,
title = {Benchmarking Robust Self-Supervised Learning Across Diverse Downstream Tasks},
author = {Antoni Kowalczuk and Jan Dubiński and Atiyeh Ashari Ghomi and Yi Sui and George Stein and Jiapeng Wu and Jesse C. Cresswell and Franziska Boenisch and Adam Dziedzic},
journal= {arXiv preprint arXiv:2407.12588},
year = {2024}
}
备注
Accepted at the ICML 2024 Workshop on Foundation Models in the Wild