LongLaMP：用于个性化长文本生成的基准
计算与语言
2024-10-16 v3 机器学习
摘要
长文本生成在大型语言模型的实际应用中几乎无处不在，例如生成电子邮件或撰写评论。尽管长文本生成在许多实际应用中具有根本性重要性和广泛性，但现有关于个性化生成的工作主要聚焦于非常短文本的生成。为克服这些限制，我们研究了个性化长文本生成的问题，即生成为特定用户量身定制且在实际应用中实用且自然需要生成较长文本的长文本。本文证明了用户特定个性化对长文本生成任务的重要性，并提出了长文本语言模型个性化基准（LongLaMP）。LongLaMP 提供了一个全面且多样化的长文本个性化生成评估框架。在 LongLaMP 上进行的大量零样本和微调语言任务实验表明，所提出的基准对开发和评估各类长文本生成任务中的个性化技术具有有效的实用性。结果强调了个性化在各类长文本生成任务中的重要性。最后，我们发布了该基准，供他人用于解决这一重要问题。
引用
@article{arxiv.2407.11016,
title = {LongLaMP: A Benchmark for Personalized Long-form Text Generation},
author = {Ishita Kumar and Snigdha Viswanathan and Sushrita Yerra and Alireza Salemi and Ryan A. Rossi and Franck Dernoncourt and Hanieh Deilamsalehy and Xiang Chen and Ruiyi Zhang and Shubham Agarwal and Nedim Lipka and Chien Van Nguyen and Thien Huu Nguyen and Hamed Zamani},
journal= {arXiv preprint arXiv:2407.11016},
year = {2024}
}