通过循环注意力策略隐式且局部地加深神经网络
机器学习
2022-10-31 v1
摘要
越来越多的实证与理论证据表明，在合适的训练设置下加深神经网络能有效提升其性能。然而，加深神经网络的骨干结构不可避免地会显著增加计算量与参数量。为缓解这些问题，我们提出了一种简洁而有效的循环注意力策略（RAS），它通过局部参数共享，利用轻量级注意力模块隐式地增加神经网络的深度。在三个广泛使用的基准数据集上的大量实验表明，RAS 能以极小的参数量与计算量增加提升神经网络性能，优于其他现有的知名注意力模块。
引用
@article{arxiv.2210.15676,
title = {Deepening Neural Networks Implicitly and Locally via Recurrent Attention Strategy},
author = {Shanshan Zhong and Wushao Wen and Jinghui Qin and Zhongzhan Huang},
journal= {arXiv preprint arXiv:2210.15676},
year = {2022}
}
备注
Work in progress