PERSOMA：面向个性化语言提示的PERsonalized SOft ProMpt适配器架构
计算与语言
2024-08-05 v1 人工智能
信息检索
摘要
理解用户大量交互历史中的细微差别是构建准确且可个性化的自然语言系统以适应不断变化用户偏好的关键。为此，我们引入PERSOMA，个人化软提示适配器架构。不同于面向大型语言模型的先前个性化提示方法，PERSOMA提供了一种高效捕获用户历史的新方法。它通过对交互进行重新采样和压缩，将其作为自由形式文本输入到表达性软提示嵌入中，基于最近利用嵌入表示作为LLM输入的最新研究。我们通过评估各种适配器架构、一级采样策略、像LoRA这样的参数高效调优技术以及其他个性化方法来严格验证我们的方法。我们的结果表明，PERSOMA在处理大型复杂用户历史方面优于现有的基于嵌入和基于文本提示的技术。
引用
@article{arxiv.2408.00960,
title = {PERSOMA: PERsonalized SOft ProMpt Adapter Architecture for Personalized Language Prompting},
author = {Liam Hebert and Krishna Sayana and Ambarish Jash and Alexandros Karatzoglou and Sukhdeep Sodhi and Sumanth Doddapaneni and Yanli Cai and Dima Kuzmin},
journal= {arXiv preprint arXiv:2408.00960},
year = {2024}
}