群体偏好对齐：基于现场对话的定制化大语言模型响应生成
计算与语言
2025-03-12 v1
摘要
大语言模型 (LLM) 常常无法满足不同用户群体的专业需求，这源于其单一化训练范式 \cite{lucy-etal-2024-one}，且针对每个群体期望的个性化方面有限。为此，我们提出了一种群体感知个性化框架——群体偏好对齐 (Group Preference Alignment, GPA)，通过识别用户群体之间在对话偏好上的情境特定差异，并引导大语言模型满足这些偏好。我们的方法包含两个步骤：(1) 群体感知偏好提取，从真实世界的对话日志中提取最大差异的用户群体偏好，并提炼为可解释的评估标准；(2) 定制化响应生成，通过两种方法利用这些评估标准：a) 语境调优推理 (GAP-CT)，通过语境依赖的提示指令动态调整响应；b) 评估标准微调推理 (GPA-FT)，利用评估标准生成对比合成数据，以进行群体特定模型的个性化对齐。实验表明，我们的框架在用户偏好对齐方面显著优于基线方法，同时在标准基准测试中保持稳健性能。
引用
@article{arxiv.2503.08035,
title = {Group Preference Alignment: Customized LLM Response Generation from In-Situ Conversations},
author = {Ishani Mondal and Jack W. Stokes and Sujay Kumar Jauhar and Longqi Yang and Mengting Wan and Xiaofeng Xu and Xia Song and Jennifer Neville},
journal= {arXiv preprint arXiv:2503.08035},
year = {2025}
}
备注
23 pages