CILIATE：通过数据集与训练精炼实现更公平的类增量学习
机器学习
2023-04-11 v1 人工智能
计算机与社会
软件工程
摘要
由于模型老化问题，深度神经网络（DNNs）需要更新以适配新数据分布。常见做法利用增量学习（IL），例如类增量学习（CIL）更新输出标签，以新数据和少量旧数据更新模型。这避免了使用传统方法从重训练的繁重训练，并通过减少需存储的旧数据量节省存储空间。但也导致公平性表现不佳。本文中，我们展示 CIL 同时存在数据集与算法偏差问题，且现有方案只能部分解决。我们提出一种新框架 CILIATE，可同时修正 CIL 中的数据集与算法偏差。其特点为新颖的微分分析引导的数据集与训练精炼过程，识别出现有 CIL 忽略的独特且重要样本，并强制模型从中学习。通过此过程，基于我们在三个流行数据集与广泛使用的 ResNet 模型上的评估，CILIATE 相较 SOTA 方法 iCaRL、BiC 和 WA 分别将 CIL 公平性提升 17.03%、22.46% 与 31.79%。
引用
@article{arxiv.2304.04222,
title = {CILIATE: Towards Fairer Class-based Incremental Learning by Dataset and Training Refinement},
author = {Xuanqi Gao and Juan Zhai and Shiqing Ma and Chao Shen and Yufei Chen and Shiwei Wang},
journal= {arXiv preprint arXiv:2304.04222},
year = {2023}
}