未知环境下的稳定预测
机器学习
2018-07-12 v2 机器学习
摘要
在许多重要的机器学习应用中，用于学习概率分类器的训练分布与将使用该分类器进行预测的测试分布不同。传统方法利用测试与训练数据密度之比对训练数据重新加权以纠正分布偏移。在许多应用中，训练是在事先不知道未来所应用测试分布的情况下进行的。近来，已有方法提出通过学习因果结构来应对偏移，但这些方法依赖于多个训练数据的多样性以获得良好性能，并且在高维下存在复杂性限制。本文提出一种新颖的深度全局平衡回归（DGBR）算法，联合优化用于特征选择的深度自编码器模型与用于未知环境下稳定预测的全局平衡模型。全局平衡模型构造平衡权重，便于估计特征（固定所有其他特征时）的偏效应，这是一个在高维中具有挑战性的问题，从而有助于识别特征与结果之间稳定的因果关系。深度自编码器模型旨在降低特征空间维度，从而使全局平衡更易进行。我们从理论和实证实验两方面表明，所提算法能够在未知环境下做出稳定预测。在合成与真实世界数据集上的实验表明，我们的 DGBR 算法在未知环境下的稳定预测上优于现有最优（SOTA）方法。
引用
@article{arxiv.1806.06270,
title = {Stable Prediction across Unknown Environments},
author = {Kun Kuang and Ruoxuan Xiong and Peng Cui and Susan Athey and Bo Li},
journal= {arXiv preprint arXiv:1806.06270},
year = {2018}
}