通过周期编码实现LLM时间对齐以进行长范围时间表示
计算与语言
2025-10-22 v3 人工智能
摘要
大语言模型（LLMs）在长时间跨度上存在时间对齐问题。该问题源于LLMs在大量数据上进行训练，其中时间信息在长时间跨度（如数千年）上较为稀疏，导致LLMs学习不足或灾难性遗忘。本文提出了一种名为"Ticktack"的方法，用于解决LLM在年度设定下的长时间跨度对齐问题。具体而言，我们首先提出使用干支纪年表达而非LLMs采用的公历年份表达，从而在年度粒度上实现更均匀的分布。然后，我们利用极坐标对60个干支周期以及每个周期内的年份顺序进行建模，并辅以时间编码以确保LLMs理解它们。最后，我们提出了一种用于LLM后训练的时间表示对齐方法，能够有效区分具有相关知识的时间点，从而提升与时间相关任务上的性能，尤其是在长时间跨度上。我们还构建了一个长时间跨度基准用于评估。实验结果证明了所提方法的有效性。
引用
@article{arxiv.2503.04150,
title = {Temporal Alignment of LLMs through Cycle Encoding for Long-Range Time Representations},
author = {Xue Han and Qian Hu and Yitong Wang and Wenchun Gao and Lianlian Zhang and Qing Wang and Lijun Mei and Chao Deng and Junlan Feng},
journal= {arXiv preprint arXiv:2503.04150},
year = {2025}
}