微调过程中分布外鲁棒性的演化
机器学习
2021-07-01 v1 人工智能
计算机视觉与模式识别
摘要
尽管机器学习模型在分布外数据上通常会出现性能下降，但广泛观察到，当跨测试平台上的模型进行评估时，分布内与分布外数据的准确率遵循单一的线性趋势。相对于该基线在分布外数据上更准确的模型表现出“有效鲁棒性（effective robustness）”，并且极为罕见。识别此类模型并理解其性质，是提高分布外性能的关键。我们对微调过程中的有效鲁棒性进行了详尽的实证研究，并惊讶地发现，在较大数据集上预训练的模型在训练期间表现出有效鲁棒性，但在收敛时消失。我们研究了数据性质如何影响有效鲁棒性，并表明其随数据集规模更大、多样性更强和样本难度更高而增加。我们还发现，表现出有效鲁棒性的模型能够正确分类当前测试平台中其他模型均无法正确分类的 10% 样本。最后，我们讨论了几种将有效鲁棒性扩展到高准确率 regime 以改进最先进（state-of-the-art）模型分布外准确率的策略。
引用
@article{arxiv.2106.15831,
title = {The Evolution of Out-of-Distribution Robustness Throughout Fine-Tuning},
author = {Anders Andreassen and Yasaman Bahri and Behnam Neyshabur and Rebecca Roelofs},
journal= {arXiv preprint arXiv:2106.15831},
year = {2021}
}
备注
27 pages, 25 figures