使用BERTopic探究LLM交互中的主题模式与用户偏好
机器学习
2025-10-10 v1 人工智能
计算机与社会
人机交互
摘要
本研究应用BERTopic这一基于Transformer的主题建模技术，对来自lmsys-chat-1m数据集进行分析，该数据集是一个由大语言模型（LLM）头对头评估构建的多语言对话语料库。每个用户提示都配有两个匿名的LLM响应以及人类偏好标签，用于评估用户对竞争模型输出的看法。主要目标是揭示这些对话中的主题模式，并探讨其与用户偏好之间的关系，特别是某些主题中是否存在特定LLM被持续偏好的现象。我们设计了一套鲁棒的预处理流程，以处理多语言变体、平衡对话轮次以及清理噪声或被遮盖的数据。BERTopic提取出超过29个连贯的主题，包括人工智能、编程、伦理和云端基础设施。我们分析了主题与模型偏好之间的关系，以识别模型-主题对齐的趋势。可视化技术包括主题间距离图、主题概率分布和模型-主题矩阵。我们的发现为在特定领域进行精细调优和优化策略提供了信息，从而改善实际应用中LLM的性能和用户满意度。
引用
@article{arxiv.2510.07557,
title = {Investigating Thematic Patterns and User Preferences in LLM Interactions using BERTopic},
author = {Abhay Bhandarkar and Gaurav Mishra and Khushi Juchani and Harsh Singhal},
journal= {arXiv preprint arXiv:2510.07557},
year = {2025}
}