等变神经网络与数据增强神经网络的优化动力学
机器学习
2024-10-21 v5 最优化与控制
摘要
我们研究了对称数据上神经网络的优化，并比较了将架构约束为等变与使用数据增强这两种策略。我们的分析表明，可容许层与等变层各自的相对几何起关键作用。在对数据、网络、损失和对称群作出自然假设下，我们证明：若可容许层空间与等变层空间相容（即相应的正交投影可交换），则两种策略的等变驻点集相同。若网络的线性层还采用酉参数化，则等变层集合在增强模型的梯度流下甚至保持不变。然而我们的分析也揭示，即便在后一情形下，驻点在增强训练中可能不稳定，而在显式等变模型中却是稳定的。
引用
@article{arxiv.2303.13458,
title = {Optimization Dynamics of Equivariant and Augmented Neural Networks},
author = {Oskar Nordenfors and Fredrik Ohlsson and Axel Flinth},
journal= {arXiv preprint arXiv:2303.13458},
year = {2024}
}
备注
v4: Some discussions added, along with an updated experiment section. v3: Completely revised manuscript: New framework for neural nets, new main result (involving compability condition), new experiments, new author. v2: Revised manuscript. Mostly small edits, apart from new experiments (see Appendix E)