裁剪后的大型语言模型用于概括意见的公平性研究： fewer is more？
计算与语言
2025-09-16 v3
摘要
通过 post-training 剪裁可在不显著�牺牲模型性能的前提下减少模型规模和计算需求。然而，剪裁对 LLM 生成概括语气的公平性影响尚未探讨，尤其是对于意见概括任务而言，偏见的输出可能影响公众观点。本文提出一项综合实证分析，考察意见概括，检验三种 state-of-the-art 剪裁方法和各种校准集在三个开源 LLMs 上使用的四种公平性指标。我们的系统分析揭示：剪裁方法对公平性的影响大于校准集。基于这些见解，我们提出 High Gradient Low Activation（HGLA）剪裁方法，识别并删除对于输入处理冗余但在输出生成中具有影响力的参数。我们的实验表明，HGLA 能更好地保持甚至改善公平性，显示现有方法在多个模型和任务中都有潜力。我们的 human evaluation 显示，HGLA 生成的输出比现有 state-of-the-art 剪裁方法更公平。代码 available at: https://github.com/amberhuang01/HGLA。
引用
@article{arxiv.2508.17610,
title = {Less Is More? Examining Fairness in Pruned Large Language Models for Summarising Opinions},
author = {Nannan Huang and Haytham M. Fayek and Xiuzhen Zhang},
journal= {arXiv preprint arXiv:2508.17610},
year = {2025}
}
备注
Accepted to EMNLP 2025 Main Conference