设定时间：预训练语言模型的时间对齐
计算与语言
2024-06-11 v2
摘要
语言模型 (LMs) 是在源自多个时间点的网络文本上训练的，通常没有任何明确的时间 grounding。本研究调查了预训练 LMs 的时间混乱现象，并探索了将其内部知识与目标时间对齐的各种方法，我们称之为“时间对齐”。为此，我们首先自动构建了一个数据集，包含从 2000 年到 2023 年每年 20,000 个时间敏感问题及其答案。基于该数据集，我们实证表明，预训练 LMs（例如 LLaMa2）尽管具有较近的预训练截止时间（例如 2022 年），但大多使用较早的知识（例如 2019 年）来回答问题。随后，我们开发了从提示到微调的多种方法，以使 LMs 在回答问题时利用其最新知识，并研究了此对齐过程中的各种因素。我们的实验表明，将 LLaMa2 对齐到 2022 年可使其性能根据该年的答案提升高达 62%。这种提升甚至在没有明确提及时间信息的情况下发生，表明在预训练后对齐模型内部时间感知的可能性。最后，我们发现对齐到历史时间也是可行的，如果将模型微调至该年份，其在 2010 年的性能可达未对齐 LM 的 2.8 倍。这些发现暗示了 LMs 内部知识组织的复杂性以及对其进行适当调整的必要性。
引用
@article{arxiv.2402.16797,
title = {Set the Clock: Temporal Alignment of Pretrained Language Models},
author = {Bowen Zhao and Zander Brumbaugh and Yizhong Wang and Hannaneh Hajishirzi and Noah A. Smith},
journal= {arXiv preprint arXiv:2402.16797},
year = {2024}
}
备注
Accepted as Findings of ACL 2024. Our code and data is available at https://github.com/yizhongw/llm-temporal-alignment