重要性加权风险估计器的抽样偏度对模型选择的影响
机器学习
2019-03-12 v1 机器学习
摘要
重要性加权是处理样本选择偏差与协变量偏移的一种流行且研究充分的技巧。它具有无偏性、一致性与低计算复杂度等可取特性。然而,加权也可能对估计器产生有害影响。本工作中,我们经验性地表明重要性加权估计器的抽样分布可能偏斜。对于样本选择偏差设定及小样本量,重要性加权风险估计器对抽样分布主体中的数据集(即大多数情形)产生高估,而对抽样分布尾部的数据集产生大幅低估。这些对风险的过高与过低估计在用于重要性加权验证时导致次优正则化参数。
引用
@article{arxiv.1804.07344,
title = {Effects of sampling skewness of the importance-weighted risk estimator on model selection},
author = {Wouter M. Kouw and Marco Loog},
journal= {arXiv preprint arXiv:1804.07344},
year = {2019}
}
备注
Conference paper, 6 pages, 5 figures