风险方差惩罚
机器学习
2021-04-12 v2 机器学习
摘要
分布外（OOD）泛化的关键是将不变性从训练域泛化到目标域。方差风险外推（V-REx）是一种实用的 OOD 方法，它依赖于域级别的正则化，但缺乏关于其动机和效用的理论验证。本文通过研究一种基于方差的正则化器，为 V-REx 提供了理论见解。我们提出了风险方差惩罚（RVP），它略微改变了 V-REx 的正则化，但解决了关于 V-REx 的理论关切。我们为 RVP 的正则化参数提供了理论解释和受理论启发的调优方案。我们的结果指出，RVP 能发现一个鲁棒的预测器。最后，我们通过实验表明，所提出的正则化器能在特定条件下找到不变预测器。
引用
@article{arxiv.2006.07544,
title = {Risk Variance Penalization},
author = {Chuanlong Xie and Haotian Ye and Fei Chen and Yue Liu and Rui Sun and Zhenguo Li},
journal= {arXiv preprint arXiv:2006.07544},
year = {2021}
}