数据增强与等变网络:动力学预测上的泛化理论
机器学习
2022-06-22 v1
摘要
利用动力系统中的对称性是提升深度学习泛化能力的有力方法。模型学会对变换保持不变,从而对分布偏移更具鲁棒性。数据增强和等变网络是将对称性注入学习的两种主要途径。然而,它们在提升泛化能力中的确切作用尚未被充分理解。本文推导了数据增强和等变网络的泛化界,在一个统一框架内刻画了它们对学习的影响。与大多数先前针对独立同分布情形的理论不同,我们聚焦于具有复杂时序依赖的非平稳动力学预测。
引用
@article{arxiv.2206.09450,
title = {Data Augmentation vs. Equivariant Networks: A Theory of Generalization on Dynamics Forecasting},
author = {Rui Wang and Robin Walters and Rose Yu},
journal= {arXiv preprint arXiv:2206.09450},
year = {2022}
}