深度学习中的协同与对称：数据、模型与推断算法间的相互作用
机器学习
2022-07-12 v1
摘要
尽管高维学习通常被认为受维数灾难之苦，现代机器学习方法常展现出惊人的能力，能在不使用大量数据的情况下处理广泛的具有挑战性的真实世界学习问题。这些方法究竟如何打破该诅咒仍是深度学习理论中的基本开放问题。先前的研究将这一问题中的数据（D）、模型（M）与推断算法（I）作为独立模块来考察，本文中我们将三元组（D, M, I）作为一个集成系统来分析，并识别出有助于缓解维数灾难的重要协同效应。我们首先研究与各种学习算法（M, I）相关的基本对称，聚焦于深度学习中的四种原型架构：全连接网络（FCN）、局部连接网络（LCN）以及带与不带回合的卷积网络（GAP/VEC）。我们发现当这些对称与数据分布的对称相容时学习最为高效，且当（D, M, I）三元组中任一成员不一致或次优时性能显著恶化。
引用
@article{arxiv.2207.04612,
title = {Synergy and Symmetry in Deep Learning: Interactions between the Data, Model, and Inference Algorithm},
author = {Lechao Xiao and Jeffrey Pennington},
journal= {arXiv preprint arXiv:2207.04612},
year = {2022}
}
备注
Accepted by ICML 2022; 23 pages