理解分布外泛化的失效模式
机器学习
2024-09-10 v3 计算机视觉与模式识别
机器学习
摘要
实证研究表明，机器学习模型常依赖于仅在训练时可能与标签虚假相关的特征（如背景），导致测试时准确率低下。本工作中，我们通过对模型为何在易于学习的任务中（本应成功）仍以这种方式失败的阐释，识别出引发该行为的根本因素。具体地，通过对若干易于学习任务上梯度下降训练的线性分类器进行理论研究，我们揭示了两种互补的失效模式。这些模式源于虚假相关性如何在数据中诱导两类偏斜：一类为几何性质，另一类为统计性质。最后，我们构造图像分类数据集的自然修改以理解这些失效模式在实践中的产生条件。我们还设计了实验，以在这些数据集上训练现代神经网络时分离两种失效模式。
引用
@article{arxiv.2010.15775,
title = {Understanding the Failure Modes of Out-of-Distribution Generalization},
author = {Vaishnavh Nagarajan and Anders Andreassen and Behnam Neyshabur},
journal= {arXiv preprint arXiv:2010.15775},
year = {2024}
}