弹性权重巩固提升自监督学习方法在迁移下的鲁棒性
机器学习
2022-11-01 v1
摘要
自监督表示学习（SSL）方法为微调下游任务提供了有效的无标签初始条件。然而，在众多现实场景中，下游任务可能相对于目标标签分布存在偏差。这进而使学习到的微调模型后验偏离初始（无标签）偏差-free 的自监督模型后验。本工作中，我们在贝叶斯持续学习的视角下重新解读 SSL 微调，并考虑通过弹性权重巩固（EWC）框架进行正则化。我们证明，在使用 ViT-B/16 架构时，针对初始 SSL 骨干网络的自正则化使 Waterbirds 的最差子组性能提升 5%，Celeb-A 提升 2%。此外，为简化 EWC 在 SSL 中的使用，我们预计算并公开发布了 Fisher 信息矩阵（FIM），其基于 10,000 个 ImageNet-1K 变体在包括经 DINO 训练的 ViT-B/16 与 ResNet50 在内的现代大型 SSL 架构上评估得到。
引用
@article{arxiv.2210.16365,
title = {Elastic Weight Consolidation Improves the Robustness of Self-Supervised Learning Methods under Transfer},
author = {Andrius Ovsianas and Jason Ramapuram and Dan Busbridge and Eeshan Gunesh Dhekane and Russ Webb},
journal= {arXiv preprint arXiv:2210.16365},
year = {2022}
}
备注
NeurIPS 2022 Workshop: Self-Supervised Learning - Theory and Practice