一种用于公平元学习的原始对偶次梯度方法

在训练期间泛化到未见类别的问题，即少样本分类，已引起相当关注。基于初始化的方法，如基于梯度的模型无关元学习（MAML），通过“学习微调”解决少样本学习问题。这些方法的目标是学习恰当的模型初始化，从而新类别的分类器可从少量标注样本经少量梯度更新步学习得到。少样本元学习以其快速适应能力及对未见任务的精度泛化而著称。以无偏结果公平地学习是人类智能的另一个重要标志，在少样本元学习中鲜有触及。本工作中，我们提出一种原始对偶公平元学习框架，即PDFM，它学习仅使用来自相关任务的少量样本训练公平机器学习模型。核心思想是学习公平模型的原始和对偶参数的良好初始化，使其能通过少量梯度更新步适应新的公平学习任务。与通过网格搜索将对偶参数手动调为超参数不同，PDFM通过次梯度原始对偶方法联合优化原始和对偶参数的初始化以进行公平元学习。我们进一步实例化偏差控制的示例，分别将均值差和决策边界协方差作为有监督回归和分类中每个任务的公平性约束。我们通过将方法应用于各种真实世界数据集展示了所提方法的通用性。实验表明相较该设定下最佳已有工作有显著提升。