通过人物画像选择与价值—信念—规范推理使大语言模型与人类意见对齐
计算与语言
2024-12-17 v5
摘要
利用大语言模型（LLMs）推理和预测人类意见至关重要但充满挑战。当前方法采用带人物画像（personae）的角色扮演，但面临两个主要问题：LLMs 即使对单个不相关人物画像也很敏感，会使预测偏差高达 30%；且 LLMs 无法对人物画像进行策略性推理。我们提出 Chain-of-Opinion（COO），一种受价值—信念—规范（VBN）理论启发的简单四步方案，建模应使用哪些人物画像以及如何对其推理。COO 区分显式人物画像（人口统计与意识形态）与隐式人物画像（历史意见），包含：(1) 从显式人物画像中过滤无关属性，(2) 将隐式人物画像排序为偏好列表以选取前 k 个，(3) 应用新颖的 VBN 推理提取用户环境与个人价值、信念和规范变量，以实现准确可靠的预测，(4) 以逐步增大的隐式人物画像列表迭代 VBN 推理，以应对潜在的人物画像不足。COO 仅通过 5 次推理调用提示即高效达成新的最优意见预测，较先前技术提升达 4%。值得注意的是，用 COO 数据微调 LM 可得到显著更优的意见对齐模型，提升达 23%。
引用
@article{arxiv.2311.08385,
title = {Aligning Large Language Models with Human Opinions through Persona Selection and Value--Belief--Norm Reasoning},
author = {Do Xuan Long and Kenji Kawaguchi and Min-Yen Kan and Nancy F. Chen},
journal= {arXiv preprint arXiv:2311.08385},
year = {2024}
}
备注
COLING 2025