AdaResNet: 通过动态权重调整增强残差网络以改进特征融合
机器学习
2024-08-20 v1 人工智能
摘要
在极深神经网络中，梯度在反向传播期间可能变得极小，使得训练早期层变得困难。ResNet(残差网络)通过允许梯度通过跳跃连接直接流经网络来解决此问题，从而促进更深网络的训练。然而，在这些跳跃连接中，输入ipd直接添加到变换数据tfd，将ipd和tfd视为等同，而不适应不同场景。在本文中，我们提出AdaResNet(自适应残差网络)，它根据训练数据自动调整ipd与tfd之间的比率。我们引入一个变量weight_{tfd}^{ipd}来表示该比率。该变量在反向传播期间动态调整，使其能够适应训练数据而非保持固定。实验结果表明，AdaResNet相比传统ResNet实现了超过50%的最大准确率提升。
引用
@article{arxiv.2408.09958,
title = {AdaResNet: Enhancing Residual Networks with Dynamic Weight Adjustment for Improved Feature Integration},
author = {Hong Su},
journal= {arXiv preprint arXiv:2408.09958},
year = {2024}
}