异于寻常：面向协变量偏移的频谱自适应回归
机器学习
2024-01-01 v1 机器学习
摘要
设计能够在与可用训练数据不同的分布下稳健运行的深度神经网络分类器，是机器学习研究的一个活跃领域。然而，针对回归的分布外泛化——即建模连续目标的类似问题——仍然相对未被探索。为了解决这个问题，我们回归基本原理，分析了普通最小二乘（OLS）回归的闭式解如何对协变量偏移敏感。我们通过源数据和目标数据的特征谱分解来表征OLS模型的分布外风险。然后，利用这一见解，我们提出了一种方法，用于调整预训练神经回归模型最后一层的权重，以更好地处理来自不同分布的输入数据。我们展示了这种轻量级的频谱适应过程如何能够改善合成和真实世界数据集上的分布外性能。
引用
@article{arxiv.2312.17463,
title = {Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift},
author = {Benjamin Eyre and Elliot Creager and David Madras and Vardan Papyan and Richard Zemel},
journal= {arXiv preprint arXiv:2312.17463},
year = {2024}
}