论大模型低秩适应的公平性
机器学习
2024-09-19 v2 人工智能
计算机与社会
摘要
大模型的低秩适应，特别是LoRA，因其计算效率而受到关注。这种效率与全模型微调的昂贵成本形成对比，意味着实践者常常转向LoRA，有时并未完全理解其影响。在本研究中，我们关注公平性，并探究与全模型微调基线相比，LoRA是否对不同子群（如性别、种族、宗教）的效用、校准和成员推断抵抗性产生未经过检验的影响。我们使用ViT-Base、Swin-v2-Large、Llama-2 7B和Mistral 7B，在视觉和语言领域以及分类和生成任务上进行了大量实验。有趣的是，实验表明，虽然可以找到LoRA加剧子群间模型偏差的案例，但模式并不一致——在许多情况下，与基础模型或其全微调基线相比，LoRA具有同等甚至更好的公平性。我们还考察了与任务设计和模型标记偏差相关的微调公平性评估的复杂性，呼吁在未来的工作中进行更仔细的公平性评估。
引用
@article{arxiv.2405.17512,
title = {On Fairness of Low-Rank Adaptation of Large Models},
author = {Zhoujie Ding and Ken Ziyu Liu and Pura Peetathawatchai and Berivan Isik and Sanmi Koyejo},
journal= {arXiv preprint arXiv:2405.17512},
year = {2024}
}
备注
COLM 2024 camera ready