EdgeWisePersona：一个基于自然语言交互的端侧用户画像数据集

本文引入了一个新颖的数据集和评估基准，旨在评估和改进可部署于边缘设备的小型语言模型，重点关注智能家居环境中多轮自然语言交互下的用户画像构建。该数据集的核心是结构化的用户画像，每个画像由一组例程定义——这些例程是上下文触发的、可重复的行为模式，支配着用户如何与其家居系统交互。以这些画像作为输入，一个大型语言模型（LLM）生成相应的交互会话，模拟用户与设备之间真实、多样且情境感知的对话。该数据集支持的主要任务是画像重建：仅从交互历史中推断用户的例程和偏好。为了评估当前模型在真实条件下执行此任务的能力，我们对几种最先进的紧凑型语言模型进行了基准测试，并将其性能与大型基础模型进行了比较。我们的结果表明，尽管小型模型在重建画像方面展现出一定能力，但在准确捕捉用户行为方面仍显著落后于大型模型。这种性能差距构成了一个重大挑战——尤其是因为端侧处理提供了关键优势，如保护用户隐私、最小化延迟，以及在不依赖云端的情况下实现个性化体验。通过提供一个在端侧约束下开发和评估行为建模的真实、结构化测试平台，我们的数据集代表着向实现直接在用户自有设备上学习和适应的、尊重隐私的智能AI系统迈出的关键一步。