重新思考分布偏移下深度学习中的重要性加权
机器学习
2020-11-06 v2 机器学习
摘要
在训练数据分布与测试分布不同的分布偏移（DS）下，一种强有力的技术是重要性加权（IW），它将DS分两步处理：权重估计（WE）估计测试对训练的密度比，加权分类（WC）从加权训练数据中训练分类器。然而，IW在复杂数据上表现不佳，因为WE与深度学习不兼容。本文中，我们重新思考IW并从理论上表明其受困于一种循环依赖：我们不仅需要WE用于WC，也需要WC用于WE（其中训练好的深度分类器被用作特征提取器（FE））。为切断该依赖，我们尝试从非加权训练数据预训练FE，这导致有偏的FE。为克服偏差，我们提出一种端到端方案动态IW，在WE与WC间迭代并无缝结合二者，从而我们的WE也能间接受益于深度网络与随机优化器。在三个流行数据集上针对两类代表性DS的实验表明，我们的动态IW优于最先进方法。
引用
@article{arxiv.2006.04662,
title = {Rethinking Importance Weighting for Deep Learning under Distribution Shift},
author = {Tongtong Fang and Nan Lu and Gang Niu and Masashi Sugiyama},
journal= {arXiv preprint arXiv:2006.04662},
year = {2020}
}
备注
NeurIPS 2020 camera-ready version (this paper was selected for spotlight presentation)