LLM 社交选择聚合中的群体复杂性陷阱
摘要
大型语言模型 (LLM) 正在日益被应用于旨在针对个人和群体的推荐系统。以往的群体推荐系统 (GRS) 常采用社交选择聚合策略，以多个用户的偏好为基础，推导出单一推荐。本文调查语言模型在零样本学习下能否正确执行这些策略，并分析了组场景在提示中的格式化是否影响准确性。我们特别关注群体复杂性（用户数和项目数）、不同 LLM、不同的提示条件（包括情境学习或生成解释）以及群体偏好的格式化。我们的结果显示，当考虑超过 100 条评分时，性能开始下降。然而，并非所有语言模型对群体复杂性增长都 equally 敏感。此外，我们展示了情境学习 (ICL) 在更高程度的群体复杂性下能显著提升性能，而添加其他提示修改（指定领域线索或请求生成解释）则未影响准确性。我们得出结论，未来的研究应将群体复杂性作为 GRS 评估的因素，due to its effect on LLM performance。此外，我们展示了以不同方式格式化组场景（例如按用户或按项目的评分列表）会影响准确性。总体而言，本研究表明，在恰当条件下，较小的 LLM 能够生成群体推荐，为使用需要较少计算资源和成本的较小模型提供了依据。
引用
@article{arxiv.2505.05016,
title = {The Pitfalls of Growing Group Complexity: LLMs and Social Choice-Based Aggregation for Group Recommendations},
author = {Cedric Waterschoot and Nava Tintarev and Francesco Barile},
journal= {arXiv preprint arXiv:2505.05016},
year = {2025}
}
备注
To be published in: Adjunct Proceedings of the 33rd ACM Conference on User Modeling, Adaptation and Personalization (UMAP Adjunct '25), June 16--19, 2025, New York City, NY, USA Accepted at the 4th Workshop on Group Modeling, Adaptation and Personalization (GMAP), co-located at UMAP 2025