基于影响函数的分布外泛化分析
机器学习
2021-01-22 v1 机器学习
摘要
训练数据与目标数据之间的不匹配是当前机器学习系统的主要挑战之一。当训练数据来自多个域且目标域包含全部训练域及其他新域时，我们面临分布外（OOD）泛化问题，旨在寻找具有最佳OOD精度的模型。OOD精度的一种定义是最坏域精度。一般而言，目标域集合未知，且当观测域数量有限时，目标域上的最坏情况可能未被观测到。本文表明，观测域上的最坏精度可能严重失效于识别OOD精度。为此，我们将稳健统计学中的经典工具影响函数引入OOD泛化问题，并提出以影响函数的方差来监测模型在训练域上的稳定性。我们表明，测试域上的精度与所提指标共同可帮助我们辨别是否需要OOD算法，以及模型是否实现了良好的OOD泛化。
引用
@article{arxiv.2101.08521,
title = {Out-of-Distribution Generalization Analysis via Influence Function},
author = {Haotian Ye and Chuanlong Xie and Yue Liu and Zhenguo Li},
journal= {arXiv preprint arXiv:2101.08521},
year = {2021}
}