若数据分布发生偏移，请使用自学习
计算机视觉与模式识别
2023-12-08 v4 机器学习
摘要
我们证明，熵最小化与伪标签等自学习技术简单且有效地提升了已部署计算机视觉模型在系统性域偏移下的性能。我们进行了广泛的大规模实验，并展示了无论模型架构、预训练技术还是分布偏移类型如何，均有一致改进。同时，自学习在实践中易于使用，因为它不需要了解或访问原始训练数据或方案，对超参数选择具有鲁棒性，实现直接且仅需少量自适应轮次。这使得自学习技术对任何在现实世界中应用机器学习算法的从业者极具吸引力。我们在 CIFAR10-C (8.5% 错误率)、ImageNet-C (22.0% mCE)、ImageNet-R (17.4% 错误率) 和 ImageNet-A (14.8% 错误率) 上给出了最先进的自适应结果，从理论上研究了自监督自适应方法的动态，并提出了即便在自适应下也具挑战性的新分类数据集 (ImageNet-D)。
引用
@article{arxiv.2104.12928,
title = {If your data distribution shifts, use self-learning},
author = {Evgenia Rusak and Steffen Schneider and George Pachitariu and Luisa Eck and Peter Gehler and Oliver Bringmann and Wieland Brendel and Matthias Bethge},
journal= {arXiv preprint arXiv:2104.12928},
year = {2023}
}
备注
Web: https://domainadaptation.org/selflearning