PEFTDebias：利用参数高效微调捕获去偏信息
机器学习
2023-12-04 v1 人工智能
计算机与社会
摘要
基础模型日益广泛的使用凸显了解决和消除其预训练过程中隐含的隐性偏见的迫切需求。本文提出PEFTDebias，一种采用参数高效微调（PEFT）来减轻基础模型偏见的新方法。PEFTDebias包含两个主要阶段：上游阶段用于获取沿特定偏见轴的去偏参数，下游阶段将这些参数融入模型并在微调过程中冻结。通过在涵盖性别和种族两个偏见轴的四个数据集上进行评估，我们发现PEFT能有效减少下游偏见。此外，我们表明这些参数具有轴特定的去偏特性，使其能够在各种下游任务中有效迁移以减轻偏见。为确保可重复性，我们公开了实验代码。
引用
@article{arxiv.2312.00434,
title = {PEFTDebias : Capturing debiasing information using PEFTs},
author = {Sumit Agarwal and Aditya Srikanth Veerubhotla and Srijan Bansal},
journal= {arXiv preprint arXiv:2312.00434},
year = {2023}
}
备注
EMNLP 2023