通过自监督数据选择与合成实现设备端大语言模型个性化

在大语言模型（LLM）部署到边缘设备后，期望这些设备能够从用户生成的对话数据中学习，以实时生成用户特定且个性化的回复。然而，用户生成的数据通常包含敏感和隐私信息，若非被禁止，也不倾向于将此类数据上传至云端进行标注。虽然可以通过直接请求用户提供偏好回复的方式在本地获得标注，但此类标注必须保持稀疏以免影晌用户体验。此外，边缘设备的存储通常过于有限，无法支持基于全部用户生成数据的大规模微调。考虑到稀疏标注与有限的设备端存储，如何启用设备端 LLM 个性化仍是一个开放问题。本文提出一种新颖的框架，以自监督方式在线选择并存储最具代表性的数据。此类数据占用内存极小，并允许不频繁地请求用户标注以进行进一步微调。为提升微调质量，利用 LLM 生成多个语义相似的问句文本与期望回复对。我们的实验表明，相较于朴素基线，所提框架在用户特定内容生成能力（准确率）与微调速度（性能）上均达到最佳。据我们所知，这是首个设备端 LLM 个性化框架。