TemporalWiki：用于训练与评估持续演化语言模型的终身基准
计算与语言
2023-04-13 v3
摘要
语言模型（LMs）随世界变化而过时；它们常未能执行需近期事实信息的任务，而这些信息在训练时缺失或不同，此现象称为时间错位。这尤具挑战性，因研究界仍缺乏连贯数据集以评估 LMs 对如 Wikipedia 般频繁更新知识语料的适应性。为此，我们引入 TemporalWiki，一个利用连续英文 Wikipedia 快照间差异及英文 Wikidata 分别用于训练与评估的、面向持续演化 LMs 的终身基准。该基准因而允许研究者周期性追踪 LM 在每一时刻保留旧知与获取更新/新知识的能力。我们还发现，通过持续学习方法在差异数据上训练 LM，在本基准中以 12 倍更少计算代价达到与整个快照训练相似或更优困惑度，这证实了 LMs 中事实知识可经持续学习以极小训练数据安全管理。数据集与代码见 https://github.com/joeljang/temporalwiki。
引用
@article{arxiv.2204.14211,
title = {TemporalWiki: A Lifelong Benchmark for Training and Evaluating Ever-Evolving Language Models},
author = {Joel Jang and Seonghyeon Ye and Changho Lee and Sohee Yang and Joongbo Shin and Janghoon Han and Gyeonghun Kim and Minjoon Seo},
journal= {arXiv preprint arXiv:2204.14211},
year = {2023}
}
备注
published at EMNLP 2022