区间式 Dropout 激活：一种防止神经网络可塑性丧失的简单方法
机器学习
2025-06-24 v2 人工智能
摘要
可塑性丧失是神经网络训练中的一个关键挑战，它限制了模型适应新任务或数据分布变化的能力。本文提出了一种受 Dropout 启发的新方法 AID（区间式 Dropout 激活），旨在解决可塑性丧失问题。与 Dropout 不同，AID 通过对每个预激活区间应用不同概率的 Dropout 来生成子网络。理论分析表明，AID 对网络进行正则化，促使其表现出类似于深度线性网络的行为，而深度线性网络不会遭受可塑性丧失的困扰。我们在多个基准上验证了 AID 在维持可塑性方面的有效性，包括在 CIFAR10、CIFAR100 和 TinyImageNet 等标准图像分类数据集上的持续学习任务。此外，我们还展示了 AID 在 Arcade Learning Environment 基准中增强了强化学习的性能。
引用
@article{arxiv.2502.01342,
title = {Activation by Interval-wise Dropout: A Simple Way to Prevent Neural Networks from Plasticity Loss},
author = {Sangyeon Park and Isaac Han and Seungwon Oh and Kyung-Joong Kim},
journal= {arXiv preprint arXiv:2502.01342},
year = {2025}
}
备注
Accepted to ICML 2025 (poster)