动态 DropConnect：通过自适应边缘丢弃策略提升神经网络鲁棒性
机器学习
2025-02-28 v1 人工智能
摘要
Dropout 和 DropConnect 是众所周知的技术，应用一致的丢弃率在训练期间随机地停用神经网络层中的神经元或边缘。本文引入了一种新方法，为图层中每个边缘分配动态丢弃率，独特地定制丢弃过程，而不包含额外的学习参数。我们在合成数据和公开可用数据集上进行实验，以验证该方法的有效性。结果表明，我们的方法在 Dropout、DropConnect 和 Standout（一种因其自适应丢弃能力而闻名的经典机制）方面表现更佳。此外，我们的方法在不增加计算复杂度的情况下提高了神经网络训练的鲁棒性和泛化能力。我们的完整实现已公开可访问于 https://github.com/ericabd888/Adjusting-the-drop-probability-in-DropConnect-based-on-the-magnitude-of-the-gradient/ 供研究和复制使用。
引用
@article{arxiv.2502.19948,
title = {Dynamic DropConnect: Enhancing Neural Network Robustness through Adaptive Edge Dropping Strategies},
author = {Yuan-Chih Yang and Hung-Hsuan Chen},
journal= {arXiv preprint arXiv:2502.19948},
year = {2025}
}