自监督模型为何可迁移？探究不变性对下游任务的影响
计算机视觉与模式识别
2022-10-11 v2
摘要
自监督学习是一种在无标注图像上进行表示学习的强大范式。大量基于实例匹配的有效新方法依赖数据增强来驱动学习，并且这些已在优化流行识别基准的增强方案上达成粗略共识。然而，有充分理由怀疑计算机视觉中不同任务需要特征编码不同的（不变）变性，因此可能需要不同的增强策略。本文中，我们度量对比学习方法学到的不变性，确认它们确实对所用增强学习到不变性，并进一步表明该不变性在很大程度上迁移到姿态与光照的相关真实世界变化。我们表明学到的不变性强烈影响下游任务性能，并确认不同下游任务受益于截然相反的（不变）变性，当使用标准增强策略时导致性能损失。最后，我们证明简单融合具有互补不变性的表示可确保对考虑的所有多样下游任务的广泛可迁移性。
引用
@article{arxiv.2111.11398,
title = {Why Do Self-Supervised Models Transfer? Investigating the Impact of Invariance on Downstream Tasks},
author = {Linus Ericsson and Henry Gouk and Timothy M. Hospedales},
journal= {arXiv preprint arXiv:2111.11398},
year = {2022}
}
备注
Code available at https://github.com/linusericsson/ssl-invariances