DUA-D2C：用于深度学习过拟合 Remediation 的动态不确定性感知方法
摘要
过拟合是深度学习中面临的重要挑战，常由数据异常值、噪声和有限训练数据引起。为此，此前提出了Divide2Conquer(D2C)方法，将训练数据划分为多个子集并在每个子集上独立训练相同的模型。这种策略通过学习更一致的模式，最大限地减少单个异常值和噪声的影响。然而，D2C的标准聚合通常均等对待所有子集模型，或基于固定启发式方法(如数据大小)，可能未充分利用其不同泛化能力的信息。建立在此基础上，本文引入动态不确定性感知Divide2Conquer(DUA-D2C)，以先进技术细化聚合过程。DUA-D2C基于子模型在共享验证集上的性能，对子集模型的贡献进行动态加权，考虑准确率和预测不确定性。这种智能聚合使中心模型能够优先从产生更具泛化能力和自信边缘模型的子集中学习，从而更有效地对抗过拟合。在多个领域的基准数据集上的实验评估表明，DUA-D2C显著提高了泛化性能。我们的分析包括决策边界、损失曲线及其他性能指标的评估，突出了DUA-D2C的有效性。该研究表明，DUA-D2C即使在应用其他正则化方法之上，也能提高深度学习的泛化性能，证明其作为现代深度学习过拟合对抗的理论依据和有效方法。我们的代码已公开提供：https://github.com/Saiful185/DUA-D2C。
引用
@article{arxiv.2411.15876,
title = {DUA-D2C: Dynamic Uncertainty Aware Method for Overfitting Remediation in Deep Learning},
author = {Md. Saiful Bari Siddiqui and Md Mohaiminul Islam and Md. Golam Rabiul Alam},
journal= {arXiv preprint arXiv:2411.15876},
year = {2025}
}
备注
This version (v2) extends our previous work (arXiv:2411.15876v1) on Divide2Conquer (D2C) by introducing Dynamic Uncertainty-Aware Divide2Conquer (DUA-D2C). The manuscript is currently under review at Complex and Intelligent Systems