DualMix：释放数据增强在在线类增量学习中的潜力
机器学习
2023-03-15 v1
摘要
在线类增量（OCI）学习引发了新的方法，以从顺序到达的包含新类的数据流中扩展先前训练模型的知识。遗憾的是，OCI学习会遭受灾难性遗忘（CF）的困扰，因为当旧类的决策边界被新类扰动时，其可能变得不准确。现有文献已应用数据增强（DA）来缓解模型遗忘，但迄今为止DA在OCI中的作用尚未被很好地理解。在本文中，我们从理论上表明，与原始数据相关性较低的增大样本在防止遗忘方面更为有效。然而，激进的增强也可能降低数据与相应标签之间的一致性，这促使我们探索适当的DA以提升OCI性能并防止CF问题。我们提出了增强型Mixup（EnMix）方法，该方法同时混合增强样本及其标签，被证明能够在增强样本多样性的同时保持与相应标签的强一致性。此外，为解决类不平衡问题，我们设计了自适应Mixup（AdpMix）方法，通过混合来自旧类和新类的样本并动态调整标签混合比例来校准决策边界。我们通过大量实验在多个基准数据集上证明了我们的方法的有效性，并表明其与其他基于回放的技术兼容。
引用
@article{arxiv.2303.07864,
title = {DualMix: Unleashing the Potential of Data Augmentation for Online Class-Incremental Learning},
author = {Yunfeng Fan and Wenchao Xu and Haozhao Wang and Jiaqi Zhu and Junxiao Wang and Song Guo},
journal= {arXiv preprint arXiv:2303.07864},
year = {2023}
}
备注
10 pages, 7 figures and 3 tables