域调整回归：或经验风险最小化可能已学到足以用于分布外泛化的特征
机器学习
2022-10-31 v2 人工智能
摘要
深度网络在分布外泛化失败的一个常见解释是它们未能恢复“正确”的特征。我们用一个简单的实验挑战这一观念，该实验表明 ERM 已经学到了充足的特征，且当前的瓶颈不是特征学习，而是鲁棒回归。我们的发现还意味着，给定来自目标分布的少量数据，仅重新训练最后线性层就能获得优异性能。因此我们主张，设计更简便的方法来在已有特征上学习预测器是未来研究的一个有前景的方向。为此，我们引入域调整回归（DARE），一种用于学习线性预测器的凸目标，在一种新的分布偏移模型下被证明是鲁棒的。DARE 不是学习一个函数，而是执行域特定调整以在规范潜在空间中统一各域，并学习在该空间中预测。在一个自然模型下，我们证明 DARE 解是受限测试分布集上的极小极大最优预测器。此外，我们提供了首个到极小极大风险的有限环境收敛保证，改进了现有仅能在环境阈值后才给出极小极大预测器的分析。在微调特征上评估时，我们发现 DARE 优于先前方法，始终达到持平或更好的性能。
引用
@article{arxiv.2202.06856,
title = {Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization},
author = {Elan Rosenfeld and Pradeep Ravikumar and Andrej Risteski},
journal= {arXiv preprint arXiv:2202.06856},
year = {2022}
}