循环反馈改善深度神经网络中的前馈表征
神经元与认知
2019-12-24 v1 机器学习
摘要
灵长类视觉皮层中丰富的循环水平连接与反馈连接在感知推断过程中被认为发挥着重要作用，其将全局与语义上下文信息带至早期视觉区域，有助于解决局部歧义并填补缺失细节。本研究中，我们发现向深度卷积神经网络（VGG16）引入反馈环路与水平循环连接，可使网络在推断过程中即便在初始前馈传递时也更能抵抗噪声与遮挡。这表明循环反馈与上下文调制以有意义且有趣的方式转变了网络的前馈表征。我们研究了网络神经元在学习反馈前后的人群编码，发现即便在接收反馈的最早层，经反馈学习后前馈路径中神经元人群编码在不同物体类别间的可分辨性（以 d-prime 衡量）有所提升。我们发现，循环反馈通过向人群活动注入自顶向下的语义含义，帮助网络学习更好的前馈路径，以将含噪图像块稳健地映射到对应于各物体类别重要视觉概念的潜在表征，从而增强了网络对噪声与遮挡的鲁棒性以及细粒度识别能力。
引用
@article{arxiv.1912.10489,
title = {Recurrent Feedback Improves Feedforward Representations in Deep Neural Networks},
author = {Siming Yan and Xuyang Fang and Bowen Xiao and Harold Rockwell and Yimeng Zhang and Tai Sing Lee},
journal= {arXiv preprint arXiv:1912.10489},
year = {2019}
}
备注
10 pages, 5 figures