纠缠残差映射
机器学习
2022-06-06 v1 人工智能
神经与进化计算
摘要
残差映射已被证明在浅层进行表示学习，在高层进行迭代特征精炼。这种相互作用，加上其对梯度范数的稳定作用，使它们能够训练非常深的网络。在本文中，我们更进一步引入纠缠残差映射，以推广残差连接的结构并评估其在迭代学习表示中的作用。纠缠残差映射将恒等跳跃连接替换为专门的纠缠映射，例如正交、稀疏和结构相关矩阵，这些矩阵与恒等映射共享关键属性（特征值、结构和雅可比范数）。我们表明，虽然纠缠映射能在各种深度模型中保持特征的迭代精炼，但它们对卷积网络中表示学习过程的影响不同于基于注意力的模型和循环神经网络。总体而言，我们发现对于 CNN 和 Vision Transformers，纠缠稀疏映射有助于泛化，而正交映射损害性能。对于循环网络，正交残差映射形成了对时变序列的归纳偏置，从而降低在时不变任务上的准确率。
引用
@article{arxiv.2206.01261,
title = {Entangled Residual Mappings},
author = {Mathias Lechner and Ramin Hasani and Zahra Babaiee and Radu Grosu and Daniela Rus and Thomas A. Henzinger and Sepp Hochreiter},
journal= {arXiv preprint arXiv:2206.01261},
year = {2022}
}
备注
21 Pages