反因果学习中的泛化
机器学习
2018-12-04 v1 机器学习
摘要
在全新情境中学习与行动的能力至今仍是生物智能的特权，因为当前的机器学习方法在超越标准 i.i.d. 设定时大多失败。造成这种差异的原因是什么？大多数机器学习任务是反因果的，即我们从效应（观测）推断原因（标签）。通常，在监督学习中我们构建直接尝试反转因果机制的系统。相反，本文我们认为，强大的泛化能力关键取决于搜索并验证有意义的假设，而这需要访问因果模型。在此框架下，我们希望找到导致所观测效应的原因。反因果模型用于驱动该搜索，但验证需要因果模型。我们研究了因果与反因果任务之间的根本差异，讨论了从对抗攻击到解耦变异因素等主题的启示，并提供了来自文献的广泛证据以支持我们的观点。我们倡导在监督学习中引入因果模型，将范式从仅推理转向搜索与验证。
引用
@article{arxiv.1812.00524,
title = {Generalization in anti-causal learning},
author = {Niki Kilbertus and Giambattista Parascandolo and Bernhard Schölkopf},
journal= {arXiv preprint arXiv:1812.00524},
year = {2018}
}
备注
A shorter version of this paper appeared at the workshop on `Critiquing and correcting trends in machine learning` at NeurIPS 2018