Novel-WD：使用 Prefix-Tuning 探索 LLM 中新世界知识的获取
计算与语言
2024-09-02 v1
摘要
向预训练大语言模型（PLM）教授新信息是一项至关重要但极具挑战性的任务。模型适应技术（如微调和参数高效训练）已被证明能以缓慢的速率存储新事实；持续学习是一种选择，但成本高昂且容易发生灾难性遗忘。本研究旨在研究和量化 PLM 如何学习和记住其预训练语料库中未出现的新世界知识事实，该语料库仅包含截至特定日期的世界知识。为此，我们首先提出 Novel-WD，这是一个新数据集，由从最近的 Wikidata 更新中提取的包含新事实的句子组成，并附带两个评估任务，形式为因果语言建模和多项选择题（MCQ）。我们向社区免费提供该数据集，并发布了一个程序，以便稍后利用最新信息构建类似数据集的新版本。我们还探索了使用 prefix-tuning 进行新信息学习，并分析了在给定前缀内可以存储多少信息。我们表明，单个事实可以可靠地编码在单个前缀内，并且前缀容量随其长度和基础模型大小的增加而增加。
引用
@article{arxiv.2408.17070,
title = {Novel-WD: Exploring acquisition of Novel World Knowledge in LLMs Using Prefix-Tuning},
author = {Maxime Méloux and Christophe Cerisara},
journal= {arXiv preprint arXiv:2408.17070},
year = {2024}
}