微调预训练模型中的偏差缓解：提升公平性与效率
机器学习
2024-03-04 v1 计算机与社会
摘要
微调预训练模型是众多实际应用中广泛采用的技术。然而，在新任务上微调这些模型可能导致不公平的结果。这是因为无论原始预训练模型在开发时是否考虑了公平性，其公平性属性都缺乏泛化保证。为解决此问题，我们引入了一个高效且鲁棒的微调框架，专门设计用于缓解新任务中的偏差。我们的实证分析表明，预训练模型中影响不同人口群体预测的参数是不同的，基于这一观察，我们采用了一种迁移学习策略，通过使用Fisher信息在不同人口群体间确定这些有影响力的权重，并中和其重要性。此外，我们将这种权重重要性中和策略与矩阵分解技术相结合，该技术使用更少的参数提供权重矩阵的低秩近似，从而降低计算需求。在多个预训练模型和新任务上的实验证明了我们方法的有效性。
引用
@article{arxiv.2403.00625,
title = {Bias Mitigation in Fine-tuning Pre-trained Models for Enhanced Fairness and Efficiency},
author = {Yixuan Zhang and Feng Zhou},
journal= {arXiv preprint arXiv:2403.00625},
year = {2024}
}