时间不等人！时间错位的分析与挑战
计算与语言
2022-07-04 v2
摘要
当一个 NLP（自然语言处理）模型在某一时期的文本数据上训练，而在另一时期的测试或部署数据上使用时，由此产生的时间错位会降低端任务性能。在这项工作中，我们建立了一套跨越不同领域（社交媒体、科学论文、新闻与评论）和时期（跨度五年或更长）的八项多样任务，以量化时间错位的影响。我们的研究聚焦于普遍存在的设定：预训练模型通过持续的领域特定预训练可选地进行适配，随后进行任务特定微调。我们建立了一套跨多个领域的任务来研究现代 NLP 系统中的时间错位。我们发现时间错位对任务性能的影响比先前报道的更强。我们还发现，虽然通过持续预训练进行时间适配有所帮助，但这些收益相较于来自目标时期数据的任务特定微调而言很小。我们的发现激励了为提升 NLP 模型时间鲁棒性而开展的持续研究。
引用
@article{arxiv.2111.07408,
title = {Time Waits for No One! Analysis and Challenges of Temporal Misalignment},
author = {Kelvin Luu and Daniel Khashabi and Suchin Gururangan and Karishma Mandyam and Noah A. Smith},
journal= {arXiv preprint arXiv:2111.07408},
year = {2022}
}
备注
9 pages, 6 figures, 3 tables