时间敏感事实的时间对齐：通过激活工程
计算与语言
2025-11-11 v1 机器学习
摘要
大型语言模型（LLM）在多个领域和时间段上进行训练，所学知识往往是多样且可能相互冲突的。其中的一些知识仅在特定的时间语境下有效，例如回答问题"2022年美国总统是谁？"确保LLM生成时序恰当的响应对于保持相关性和准确性至关重要。本文我们探索了激活工程作为时间对齐LLMs以改进事实记忆的方法，这种方法无需任何训练或数据集创建。我们通过激活工程技术将三个版本的LLaMA 2对齐到特定时间点，考察不同注入层和提示策略的效果。我们的实验表明，在相对提示下实现了最高44%的改进，在显式提示下实现了16%的改进，达到了与赵等人（2024）提出的微调方法相当的性能。值得注意的是，我们的方法在获得类似微调基线的结果的同时，计算效率显著更高，且无需预先对齐的数据集。
引用
@article{arxiv.2505.14158,
title = {Temporal Alignment of Time Sensitive Facts with Activation Engineering},
author = {Sanjay Govindan and Maurice Pagnucco and Yang Song},
journal= {arXiv preprint arXiv:2505.14158},
year = {2025}
}