使用样本加权进行公平类增量学习

在可信AI的类增量学习中，模型公平性正变得越来越重要。虽然准确率是类增量学习的核心关注点，但公平性相对较少受到研究。然而，盲目使用当前任务的所有样本进行训练会导致对某些敏感组（包括特定类别）的不可公平遗忘。我们理论上分析了如果当前任务数据的平均梯度向量与敏感组的平均梯度向量在"相反方向"上，则会发生遗忘，这意味着它们的内积为负。我们随后提出了一个公平类增量学习框架，通过调整当前任务样本的训练权重来改变平均梯度向量的方向，从而减少低绩效组的遗忘并实现公平性。对于各种组公平性度量，我们 formulated 优化问题以最小化敏感组的总损失，同时最小化它们之间的差异。我们还显示该问题可以用线性规划求解，我们提出了一个有效的公平感知样本加权（FSW）算法。实验表明，FSW在真实数据集上实现了比当前SOTA方法更好的准确性-公平性权衡结果。