Self-Tuning：指导 LLM 通过自学有效获取新知识
计算与语言
2025-05-19 v5
摘要
大型语言模型 (LLMs) 由于其一次性训练以及世界不断演变的性质，通常难以提供最新信息。为了保持 LLMs 的时效性，现有方法通常涉及对新文档的持续预训练。然而，它们在提取存储的知识方面经常面临困难。受费曼技巧在人类高效学习中显著成功的启发，我们引入了 Self-Tuning，这是一个旨在通过自学提高 LLM 从未见过的原始文档中有效获取新知识能力的学习框架。具体而言，我们开发了一种 Self-Teaching 策略，该策略以自监督方式创建的一组知识密集型任务来增强文档，重点关注三个关键方面：记忆、理解和自我反思。此外，我们引入了三个 Wiki-Newpages-2023-QA 数据集，以促进对 LLM 在记忆、提取和推理方面的知识获取能力的深入分析。在各种模型（例如 Llama2-7B）上的大量实验结果表明，Self-Tuning 在所有知识获取任务中始终表现出卓越的性能，并且在保留先前知识方面表现出色。
引用
@article{arxiv.2406.06326,
title = {Self-Tuning: Instructing LLMs to Effectively Acquire New Knowledge through Self-Teaching},
author = {Xiaoying Zhang and Baolin Peng and Ye Tian and Jingyan Zhou and Yipeng Zhang and Haitao Mi and Helen Meng},
journal= {arXiv preprint arXiv:2406.06326},
year = {2025}
}
备注
ACL 2025 Findings