兼顾有无记忆的增量学习中的平衡Softmax交叉熵

当在新类别上增量训练时，深度神经网络会遭受灾难性遗忘，导致在学习新类别的同时其在旧类别上的性能极度恶化。使用包含少量过去类别样本的小内存已被证明是缓解灾难性遗忘的有效方法。然而，由于重放内存大小有限，训练数据集中新类别与旧类别的样本数量存在严重不平衡，导致最终模型出现偏差。为解决此问题，我们提出使用平衡Softmax交叉熵（Balanced Softmax Cross-Entropy），并表明其可与最先进的类增量学习方法无缝结合，以提高其准确率，同时还可能降低训练过程的计算成本。我们进一步将该方法扩展到要求更高的无内存类增量学习设定，并取得了与基于内存方法相竞争的结果。在具有挑战性的ImageNet、ImageNet-Subset和CIFAR100基准上针对不同设定进行的实验证明了我们方法的优势。