面向文本生成的时间感知提示

在本文中，我们研究将时间戳（如文档创建日期）纳入生成系统的影响。研究了两类时间感知提示：（1）以自然语言句子编码文档时间戳的文本提示；以及（2）将时间戳转换为连续向量的线性提示。为探索对未来数据点的外推，我们进一步引入一个新的数据到文本生成数据集TempWikiBio，包含超过400万条来自英文维基百科传记文章按时间排序的修订，每条均配有结构化个人档案。通过在TempWikiBio上的数据到文本生成、content transfer数据集上的文本到文本生成，以及XSum上的摘要，我们表明编码器上的线性提示和文本提示改善了所有数据集上的生成质量。根据人工评估和敏感性分析，尽管在来自更晚时间的数据测试时性能下降较少，线性提示更关注非时间信息且对给定时间戳较不敏感。同时，文本提示建立了给定时间戳与输出日期之间的关联，在输出中产生更事实性的时间信息。