不可知掩码分布偏移下不完备数据的预测
机器学习
2023-05-22 v1 人工智能
摘要
带有缺失值的数据在许多应用中十分普遍。近年来，仅利用由观测特征与指示缺失模式的掩码组成的不完备数据进行预测受到越来越多的关注。现有方法假设训练与测试分布相同，而这可能在真实场景中被违背。本文考虑存在分布偏移时的不完备数据预测。我们聚焦于完整特征与标签的潜在联合分布不变，但缺失模式（即掩码分布）在训练与测试间发生不可知偏移的情况。为实现泛化，我们利用如下观察：对每个掩码存在一个不变的最优预测器。为避免分别学习它们时的指数级爆炸，我们使用双参数化技术联合近似最优预测器。这带来了不良副作用，即允许所学预测器依赖掩码内相关性以及特征与掩码间的相关性。我们执行去相关以最小化该效应。结合上述技术，我们提出了一种称为 StableMiss 的新颖预测方法。在合成与真实世界数据集上的大量实验表明，StableMiss 具有鲁棒性，并在不可知掩码分布偏移下优于最先进方法。
引用
@article{arxiv.2305.11197,
title = {Prediction with Incomplete Data under Agnostic Mask Distribution Shift},
author = {Yichen Zhu and Jian Yuan and Bo Jiang and Tao Lin and Haiming Jin and Xinbing Wang and Chenghu Zhou},
journal= {arXiv preprint arXiv:2305.11197},
year = {2023}
}