ReduNet：基于最大化率缩减原理的白盒深度网络
机器学习
2021-11-30 v3 计算机视觉与模式识别
信息论
math.IT
机器学习
摘要
本工作试图提供一个合理的理论框架，旨在从数据压缩与判别性表示的原则出发解释现代深度（卷积）网络。我们论证，对于高维多类数据，最优的线性判别表示最大化整个数据集与所有子集平均之间的编码率差异。我们表明，优化率缩减目标的基本迭代梯度上升方案自然导出一个多层深度网络，命名为 ReduNet，其具有现代深度网络的共同特征。深度分层架构、线性和非线性算子，甚至网络的参数，都通过前向传播逐层显式构造，尽管它们也可通过反向传播进行微调。如此获得的“白盒”网络的所有组件都具有精确的优化、统计和几何解释。此外，当我们强制分类严格平移不变时，所导出网络的所有线性算子自然变为多通道卷积。不变设置下的推导暗示了稀疏性与不变性之间的权衡，并表明这种深度卷积网络在谱域中构造和学习显著更高效。我们的初步模拟与实验清楚地验证了率缩减目标及相关的 ReduNet 的有效性。所有代码与数据可在 \url{https://github.com/Ma-Lab-Berkeley} 获取。
引用
@article{arxiv.2105.10446,
title = {ReduNet: A White-box Deep Network from the Principle of Maximizing Rate Reduction},
author = {Kwan Ho Ryan Chan and Yaodong Yu and Chong You and Haozhi Qi and John Wright and Yi Ma},
journal= {arXiv preprint arXiv:2105.10446},
year = {2021}
}
备注
This paper integrates previous two manuscripts: arXiv:2006.08558 and arXiv:2010.14765, with significantly improved organization, presentation, and new results; V2 polishes writing and adds citation; V3 polishes writing, adds citation and experiments