神经网络的等变感知架构优化
机器学习
2023-02-09 v3
摘要
在神经网络训练期间将对称群的等变性作为约束纳入，可以提高具有这些对称性的任务的性能和泛化能力，但此类对称性通常不是完美或显式存在的。这促使我们对等变性施加的架构约束进行算法优化。我们提出了等变松弛态射，它在保持功能的同时对群等变层进行重参数化，以使其在子群上以等变约束运行；我们还提出了 [G]-混合等变层，它混合了受约束于不同群的层，以实现层内等变优化。我们进一步提出了分别利用这些机制的进化式和可微神经架构搜索 (NAS) 算法，用于等变感知的架构优化。在各种数据集上的实验表明了动态约束等变性在寻找具有近似等变性的有效架构方面的优势。
引用
@article{arxiv.2210.05484,
title = {Equivariance-aware Architectural Optimization of Neural Networks},
author = {Kaitlin Maile and Dennis G. Wilson and Patrick Forré},
journal= {arXiv preprint arXiv:2210.05484},
year = {2023}
}