通过高效微调进行时间敏感的知识编辑
计算与语言
2024-07-24 v2 人工智能
机器学习
摘要
大型语言模型（LLM）在不同任务中展示了令人印象深刻的能力，并正在给许多领域带来变革性变化。然而，一旦预训练完成，保持LLM中的知识更新仍然是一个挑战。因此，设计有效的方法来更新过时知识并将新知识引入LLM至关重要。现有的定位和编辑知识编辑（KE）方法存在两个局限性。首先，通过此类方法编辑后的LLM在回答需要多跳推理的复杂查询时能力较差。其次，此类定位和编辑方法执行知识编辑的长时间运行使得在实践中难以进行大规模KE。在本文中，我们探索参数高效微调（PEFT）技术作为KE的替代方案。我们整理了一个更全面的时间性KE数据集，包含知识更新和知识注入示例，用于KE性能基准测试。我们进一步探究了在LLM中一系列层上进行微调对多跳QA任务的影响。我们发现PEFT在时间敏感的知识编辑方面优于定位和编辑技术。
引用
@article{arxiv.2406.04496,
title = {Time Sensitive Knowledge Editing through Efficient Finetuning},
author = {Xiou Ge and Ali Mousavi and Edouard Grave and Armand Joulin and Kun Qian and Benjamin Han and Mostafa Arefiyan and Yunyao Li},
journal= {arXiv preprint arXiv:2406.04496},
year = {2024}
}
备注
ACL 2024 main