ResidualDroppath：增强残差连接上的特征复用
机器学习
2024-11-15 v1 人工智能
摘要
残差连接是神经网络架构中缓解梯度消失问题和促进更深网络训练的最重要组件之一。残差连接如何帮助更深网络训练的一种可能解释是促进特征复用。然而，我们识别并分析了普通残差连接在特征复用方面的局限性。为解决这些局限，我们提出了训练方法的修改。具体而言，我们通过训练期间的两种迭代类型，为模型提供了利用残差连接学习特征复用的额外机会。第一种迭代类型涉及使用 droppath，通过随机丢弃一部分层来强制特征复用。第二种迭代类型专注于在冻结未丢弃部分的同时训练模型被丢弃的部分。结果，被丢弃的部分以鼓励特征复用的方式学习，因为模型依赖于考虑到特征复用的未丢弃部分。总体而言，我们在某些情况下展示了带有残差连接的模型在图像分类任务上的性能提升。
引用
@article{arxiv.2411.09475,
title = {ResidualDroppath: Enhancing Feature Reuse over Residual Connections},
author = {Sejik Park},
journal= {arXiv preprint arXiv:2411.09475},
year = {2024}
}