论任务算术的公平性：任务向量的作用
机器学习
2026-02-13 v2
摘要
模型编辑技术，尤其是基于任务向量的任务算术，通过简单的算术运算实现直接的参数更新，为全量微调提供了一种高效的替代方案。尽管该方法有望大幅节省计算量，但其在公平性方面的影响在很大程度上仍未被探索——尽管人们日益担忧在仇恨言论检测等高风险应用中出现有偏见的结果。在本研究中，我们首次在二元文本与图像分类任务下，对任务算术中的群体公平性进行了系统研究，并将其与全量微调（FFT）和低秩适应（LoRA）进行了比较。我们使用标准的群体公平性指标（包括人口统计平权和均等化几率）在多个语言模型和数据集上进行了评估。我们的分析表明，可以通过调整任务向量在实现有竞争力的准确率的同时减少差异，并且合并特定子组的任务向量为引导公平性结果提供了一种实用机制。我们进一步给出了将任务向量缩放与公平性指标相关联的理论界限，为所观察到的权衡提供了深入见解。这些发现共同确立了任务算术不仅是一种低成本的编辑方法，更是标准群体公平分类设置下现有适应技术的一种具备公平性意识的替代方案，为大型语言模型的负责任部署奠定了基础。
引用
@article{arxiv.2505.24262,
title = {On Fairness of Task Arithmetic: The Role of Task Vectors},
author = {Hiroki Naganuma and Kotaro Yoshida and Laura Gomezjurado Gonzalez and Takafumi Horie and Yuji Naraki and Ryotaro Shimizu},
journal= {arXiv preprint arXiv:2505.24262},
year = {2026}
}