浏览语言的LLM中的主观行为与偏好
计算与语言
2025-09-22 v3 人工智能
摘要
大型语言模型（LLM）在多个领域和任务中表现出多样化的行为和偏好，据称能为用户带来广泛的体验。我们质疑这种关于LLM的观察——当用户拥有内在的、主观的行为和偏好时（如他们普遍且独特性的网页或应用浏览方式），LLM是否仍能满足这些需求。由此生成的页面顺序日志形成一种类似于每个用户自建“语言”的东西，尽管不像自然语言那样具有结构和语法。我们提出了三个问题：（i）小型语言模型能否比大型语言模型更好地代表“浏览语言”？（ii）单一参数集（即单一语言模型）是否足以捕捉众多用户异构的、主观的行为和偏好？（iii）单一语言模型在平均性能方面表现良好，是否能在性能方面实现低方差以实现用户水平的良好对齐？我们引入基于簇的语言模型训练方法HeTLM（Heterogeneity aware Training of Language Model），适用于主观行为。我们发现：（i）使用页面级分词器训练的小型语言模型优于大型预训练或微调的语言模型；（ii）HeTLM采用异构簇特定参数集的模型优于相同家族中单一语言模型，控制参数数量；（iii）在生成方面实现更高的平均值和更低的方差，暗示对齐效果更好。
引用
@article{arxiv.2508.15474,
title = {Subjective Behaviors and Preferences in LLM: Language of Browsing},
author = {Sai Sundaresan and Harshita Chopra and Atanu R. Sinha and Koustava Goswami and Nagasai Saketh Naidu and Raghav Karan and N Anushka},
journal= {arXiv preprint arXiv:2508.15474},
year = {2025}
}
备注
Accepted at EMNLP 2025