从单环境学习反事实 G-不变性的神经网络
机器学习
2021-04-21 v1 机器学习
摘要
尽管——或者或许因为——神经网络具有惊人的拟合数据能力，人们认为其难以在训练数据分布之外进行外推。本工作表明，对于基于有限变换群的外推，模型无法外推与其容量无关。相反，这一缺陷源自一个学习假设：在 learner 的模型中，未通过无穷多训练样本显式观测到的例子具有未指定的结果。为了赋予神经网络在群变换上外推的能力，我们引入了一个由学习假设反事实引导的学习框架：任何对（已知）变换群的群不变性都是强制的，即使没有证据，除非 learner 认为其与训练数据不一致。与现有的用于（反事实）外推的不变性驱动方法不同，该框架允许从单一环境进行外推。最后，我们引入了序列和图像外推任务，以验证我们的框架并展示传统方法的不足。
引用
@article{arxiv.2104.10105,
title = {Neural Networks for Learning Counterfactual G-Invariances from Single Environments},
author = {S Chandra Mouli and Bruno Ribeiro},
journal= {arXiv preprint arXiv:2104.10105},
year = {2021}
}
备注
ICLR 2021