神经网络中不变性的学习
机器学习
2020-12-02 v2 机器学习
摘要
对平移的不变性赋予了卷积神经网络强大的泛化特性。然而，我们往往事先并不知道数据中存在哪些不变性，也不知道模型应在多大程度上对给定对称群保持不变。我们展示了如何通过参数化一个增强分布，并同时针对网络参数与增强参数优化训练损失，来学习不变性与等变性。借助这一简单流程，我们仅基于训练数据，就能从庞大的增强空间中恢复出图像分类、回归、分割以及分子性质预测任务上正确的一组不变性及其程度。
引用
@article{arxiv.2010.11882,
title = {Learning Invariances in Neural Networks},
author = {Gregory Benton and Marc Finzi and Pavel Izmailov and Andrew Gordon Wilson},
journal= {arXiv preprint arXiv:2010.11882},
year = {2020}
}
备注
NeurIPS 2020. Code available at https://github.com/g-benton/learning-invariances