用于分布外预测的分布偏移反转
机器学习
2023-06-16 v1 计算机视觉与模式识别
摘要
机器学习界已见证大量分布外（OoD）算法的涌现，这些算法通过寻找统一预测器或不变特征表示来应对训练分布与测试分布间的分布偏移。然而，直接缓解未见测试集中分布偏移的任务很少被研究，原因在于训练阶段测试分布不可用，从而不可能训练一个映射训练与测试分布间的分布转换器。本文中，我们探究如何规避分布转换器训练对测试分布的需求，并使分布转换对 OoD 预测有用。我们提出一种可移植的分布偏移反转算法，其中，在送入预测模型前，OoD 测试样本先与附加高斯噪声线性组合，随后使用仅在源分布上训练的扩散模型被传回至训练分布。理论分析揭示了我们方法的可行性。在多变域泛化数据集与单域泛化数据集上的实验结果表明，当嵌入多种常用 OoD 算法时，我们的方法提供了普遍的性能提升。
引用
@article{arxiv.2306.08328,
title = {Distribution Shift Inversion for Out-of-Distribution Prediction},
author = {Runpeng Yu and Songhua Liu and Xingyi Yang and Xinchao Wang},
journal= {arXiv preprint arXiv:2306.08328},
year = {2023}
}