通过重参数化元学习对称性
机器学习
2021-03-31 v3 机器学习
摘要
许多成功的深度学习架构对某些变换是等变的，以节省参数并改善泛化：最著名的是，卷积层对输入的平移是等变的。该方法仅在从业者知道任务的对称性并能够手动构建具有相应等变性的架构时才有效。我们的目标是一种从数据中学习等变性、而无需设计自定义特定任务架构的方法。我们提出了一种通过从数据中学习相应的参数共享模式来将等变性学习并编码进网络的方法。我们的方法可证明地表示任意有限对称变换群诱导等变性的参数共享。我们的实验表明，它可自动学习编码图像处理任务中常用变换的等变性。我们在 https://github.com/AllanYangZhou/metalearning-symmetries 提供了实验代码。
引用
@article{arxiv.2007.02933,
title = {Meta-Learning Symmetries by Reparameterization},
author = {Allan Zhou and Tom Knowles and Chelsea Finn},
journal= {arXiv preprint arXiv:2007.02933},
year = {2021}
}
备注
ICLR 2021