EntAugment：面向图像分类的基于熵的自适应数据增强框架
计算机视觉与模式识别
2024-09-11 v1
摘要
数据增强 (DA) 广泛用于提高深度神经网络的泛化能力。虽然现有 DA 方法效果显著，但往往依赖带有随机幅度的增强操作。然而，这种方法会不可避免地引入噪声，导致分布偏移，增加过拟合风险。本文提出了 EntAugment，一种无需调参且自适应的 DA 框架。与前述工作不同，EntAugment 在训练期间动态评估和调整每个样本的增强幅度，基于训练样本的固有复杂性和深度模型的演化状态。具体而言，EntAugment 中的增强幅度由软最大函数作用于模型输出后获得的概率分布信息熵决定。此外，为进一步提升 EntAugment 的效果，我们引入一种新型熵正则化项 EntLoss，以补充 EntAugment 方法。理论分析进一步表明，EntLoss 相较于传统交叉熵损失，实现了模型分布与数据集分布之间的更接近对齐。此外，EntAugment 和 EntLoss 可独立或联合使用。我们在多个图像分类任务和网络架构上进行大量实验，进行全面比较现有 DA 方法。重要的是，所提方法无需引入任何辅助模型或明显的额外计算开销，凸显了其有效性和效率。代码已公开于 https://github.com/Jackbrocp/EntAugment。
引用
@article{arxiv.2409.06290,
title = {EntAugment: Entropy-Driven Adaptive Data Augmentation Framework for Image Classification},
author = {Suorong Yang and Furao Shen and Jian Zhao},
journal= {arXiv preprint arXiv:2409.06290},
year = {2024}
}
备注
Accepted by ECCV 2024