Step-Back 轮廓：用于个性化科学写作的用户历史蒸馏
计算与语言
2024-07-12 v2 人工智能
摘要
大型语言模型 (LLM) 在各种自然语言处理任务中表现出色，但在为个体生成个性化内容方面仍存在困难，尤其是在现实场景中如科学写作。为解决此挑战，我们引入 STEP-BACK PROFILING 通过 将用户历史蒸馏为简洁轮廓来个性化 LLM，包括用户的关键特征和偏好。为开展实验，我们构建了一个个人化科学写作 (PSW) 数据集以研究多用户个性化。PSW 需要模型根据具有不同学术背景的专门作者群体撰写科学论文。就结果而言，我们证明了通过 STEP-BACK PROFILING 捕获用户特征的有效性以实现协作写作。此外，我们的方法在通用个性化基准 (LaMP) 上较基线高出最高 3.6 分，包括 7 项个性化 LLM 任务。我们的消融研究验证了方法各组件的贡献，并为任务定义提供了见解。我们的数据集和代码已提供于 \url{https://github.com/gersteinlab/step-back-profiling}。
引用
@article{arxiv.2406.14275,
title = {Step-Back Profiling: Distilling User History for Personalized Scientific Writing},
author = {Xiangru Tang and Xingyao Zhang and Yanjun Shao and Jie Wu and Yilun Zhao and Arman Cohan and Ming Gong and Dongmei Zhang and Mark Gerstein},
journal= {arXiv preprint arXiv:2406.14275},
year = {2024}
}