用于分布外预测因果语义表示的学习
机器学习
2021-11-02 v5 人工智能
机器学习
摘要
传统的监督学习方法，尤其是深度方法，被发现对分布外（OOD）样本敏感，这很大程度上是因为所学表示由于语义因子与变异因子的领域特定相关性而将二者混淆，而仅语义因子导致输出。为解决该问题，我们提出基于因果推理的因果语义生成模型（CSG），使两因子被分别建模，并发展了从单一训练域进行OOD预测的方法，这常见且具挑战性。这些方法基于因果不变性原理，在变分贝叶斯中做了新颖设计以兼顾高效学习与简便预测。理论上，我们证明在特定条件下，CSG可通过拟合训练数据辨识语义因子，且该语义辨识保证了OOD泛化误差的有界性与自适应的成功。实证研究显示其OOD性能优于主流基线。
引用
@article{arxiv.2011.01681,
title = {Learning Causal Semantic Representation for Out-of-Distribution Prediction},
author = {Chang Liu and Xinwei Sun and Jindong Wang and Haoyue Tang and Tao Li and Tao Qin and Wei Chen and Tie-Yan Liu},
journal= {arXiv preprint arXiv:2011.01681},
year = {2021}
}
备注
NeurIPS'21 camera-ready version