循环与深度的惊人相似性
机器学习
2022-03-04 v4 人工智能
摘要
人们普遍认为深度神经网络存在层专门化，即神经网络在浅层提取表示边缘和模式的层次化特征，在更深层提取完整对象。与在每个层具有不同滤波器的常见前馈模型不同，循环网络在不同深度重用相同参数。在这项工作中，我们观察到，尽管在每次循环中都重用相同滤波器，循环模型仍表现出与前馈网络相同的层次化行为以及随深度而来的相同性能增益。通过在多个图像分类和迷宫求解数据集上训练各种前馈与循环架构的模型，我们表明循环网络能够紧密模拟非循环深度模型的行为，且通常以远少的参数实现。
引用
@article{arxiv.2102.11011,
title = {The Uncanny Similarity of Recurrence and Depth},
author = {Avi Schwarzschild and Arjun Gupta and Amin Ghiasi and Micah Goldblum and Tom Goldstein},
journal= {arXiv preprint arXiv:2102.11011},
year = {2022}
}