将语言模型对齐至用户观点
计算与语言
2023-05-25 v1
摘要
开发与人类交互的 LLMs 的一个重要方面是将模型的行为与其用户对齐。可以通过提示使 LLM 表现出某种角色，尤其是模型在预训练阶段捕获的用户群体或意识形态角色。但是，如何最好地将 LLM 与特定用户而非人口统计或意识形态群体对齐仍是一个开放问题。通过挖掘（皮尤研究的）民意调查，我们发现用户的观点与其人口统计和意识形态并非相互预测因子。利用这一洞见，我们通过同时建模用户观点以及用户人口统计和意识形态来对齐 LLM，在广泛主题上从调查问题预测公众意见的准确性提升了多达 7 个点。除了用人口统计和意识形态提示 LLM 的典型方法外，我们发现利用来自个体用户的最相关历史观点能使模型更准确地预测用户观点。
引用
@article{arxiv.2305.14929,
title = {Aligning Language Models to User Opinions},
author = {EunJeong Hwang and Bodhisattwa Prasad Majumder and Niket Tandon},
journal= {arXiv preprint arXiv:2305.14929},
year = {2023}
}