深度集成中的涌现等变性
机器学习
2024-06-18 v2
摘要
我们证明,仅需使用数据增强,深度集成即可对所有输入及在所有训练时刻均呈现等变性。关键在于,在无限宽度极限下,该等变性在流形外依然成立,且适用于任意架构。这种等变性是涌现的,即单个集成成员的预测并非等变,但其联合预测是等变的。本文利用神经正切核理论推导了该结果,并通过详细的数值实验验证了我们的理论见解。
引用
@article{arxiv.2403.03103,
title = {Emergent Equivariance in Deep Ensembles},
author = {Jan E. Gerken and Pan Kessel},
journal= {arXiv preprint arXiv:2403.03103},
year = {2024}
}
备注
11 pages + 17 pages appendices