将重要性加权推广为分布偏移问题的通用求解器
机器学习
2023-11-03 v2
摘要
分布偏移（DS）可能有两个层次：分布本身发生变化，以及支撑集（即概率密度非零的集合）也发生变化。当考虑训练与测试分布间支撑集的变化时，可能存在四种情况：（i）二者完全匹配；（ii）训练支撑集更宽（从而覆盖测试支撑集）；（iii）测试支撑集更宽；（iv）二者部分重叠。现有方法擅长情况（i）和（ii），而情况（iii）和（iv）当今更常见却仍未被充分探索。本文将对情况（i）和（ii）的黄金求解器重要性加权（IW）推广为适用于所有情况的通用求解器。具体而言，我们首先探究 IW 在情况（iii）和（iv）失败的原因；基于发现，提出广义重要性加权（GIW），可处理情况（iii）和（iv），并在情况（i）和（ii）退化为 IW。在 GIW 中，测试支撑集被划分为训练内（IT）部分和训练外（OOT）部分，期望风险被分解为 IT 部分上的加权分类项与 OOT 部分上的标准分类项，从而保障 GIW 的风险一致性。随后，GIW 的实现包含三个组件：（a）验证数据划分由单类支持向量机执行；（b）经验风险第一项可由任意给定训练数据与 IT 验证数据的 IW 算法处理；（c）第二项仅涉及 OOT 验证数据。实验表明 GIW 是 DS 问题的通用求解器，在情况（iii）和（iv）优于 IW 方法。
引用
@article{arxiv.2305.14690,
title = {Generalizing Importance Weighting to A Universal Solver for Distribution Shift Problems},
author = {Tongtong Fang and Nan Lu and Gang Niu and Masashi Sugiyama},
journal= {arXiv preprint arXiv:2305.14690},
year = {2023}
}
备注
NeurIPS 2023 camera-ready version (this paper was selected for spotlight presentation)