ProfiLLM：基于大语言模型的聊天机器人用户隐式分层框架
人工智能
2025-06-18 v1
摘要
尽管对话式 AI 取得了显著进展，大语言模型（LLM）驱动的聊天机器人仍然难以根据用户特征（如技术专长程度、学习风格和沟通偏好）个性化其响应。在知识密集型专业领域如 IT/网络安全（ITSec）中，用户知识水平差异巨大，缺乏个性化尤为棘手。现有聊天机器人个性化方法主要依赖静态用户类别或显式自报告信息，难以适应通过持续交互获取的用户 proficiency 动态变化。本文提出 ProfiLLM，一个通过聊天机器人交互实现隐式动态用户分层的框架。该框架包含可适用于各领域的分类体系，以及基于该分类体系的用户分层方法。为证明 ProfiLLM 的有效性，我们在 ITSec 领域应用其，通过诊断交互推断用户技术专长程度。具体而言，我们开发了 ITSec 适配版 ProfiLLM[ITSec]，并在 263 个模拟用户、1760 轮人类化聊天机器人对话上进行评估。结果表明，ProfiLLM[ITSec] 能快速准确推断 ITSec 配置，单次提示后即可将实际得分与预测得分差距缩小 55--65%，随后保持小幅波动并持续细化。除评估我们的隐式动态分层框架外，我们还提出了基于 LLM 的人格模拟方法、ITSec 专业度结构化分类体系、代码库及聊天机器人交互数据集，以支持后续研究。
引用
@article{arxiv.2506.13980,
title = {ProfiLLM: An LLM-Based Framework for Implicit Profiling of Chatbot Users},
author = {Shahaf David and Yair Meidan and Ido Hersko and Daniel Varnovitzky and Dudu Mimran and Yuval Elovici and Asaf Shabtai},
journal= {arXiv preprint arXiv:2506.13980},
year = {2025}
}