相关性驱动的输入 Dropout：一种解释引导的正则化技术
机器学习
2025-05-29 v1 人工智能
摘要
过拟合是一个众所周知的问题，甚至存在于最先进的机器学习（ML）模型中，导致泛化能力下降以及显著的训练与测试性能差距。缓解措施包括结合使用 dropout、数据增强、权重衰减及其他正则化技术。在各种数据增强策略中，遮挡是一种突出的技术，通常侧重于在训练期间随机掩盖输入区域。现有的大多数文献强调随机选择和修改输入特征，而非关注对模型决策有强烈影响的区域。我们提出了相关性驱动的输入 Dropout（RelDrop），一种新颖的数据增强方法，该方法选择性地遮挡输入中最相关的区域，促使模型在预测过程中使用其他重要特征，从而通过信息正则化提高模型泛化能力。我们进一步进行了定性和定量分析，以研究相关性驱动的输入 Dropout（RelDrop）如何影响模型决策。通过在基准数据集上的一系列实验，我们证明我们的方法提高了对遮挡的鲁棒性，使模型利用感兴趣区域内的更多特征，并提升了推理时的泛化性能。我们的代码可在 https://github.com/Shreyas-Gururaj/LRP_Relevance_Dropout 获取。
引用
@article{arxiv.2505.21595,
title = {Relevance-driven Input Dropout: an Explanation-guided Regularization Technique},
author = {Shreyas Gururaj and Lars Grüne and Wojciech Samek and Sebastian Lapuschkin and Leander Weber},
journal= {arXiv preprint arXiv:2505.21595},
year = {2025}
}