从错误中学习智慧：通过挖掘错误案例促进LLM的持续关系学习
计算与语言
2025-08-19 v1
摘要
持续关系抽取（CRE）旨在持续学习新兴关系同时避免灾难性遗忘。现有的CRE方法主要使用记忆回放和对比学习来缓解灾难性遗忘。然而，这些方法并未重视能够更有效揭示模型认知偏差的错误案例。为此，我们提出一种针对大型语言模型（LLM）的基于指令的持续对比调谐方法。不同于传统CRE方法通常以统一方式处理训练和记忆数据，本方法根据初始响应的正确性将每个任务的训练数据和记忆数据分别分为两部分，并通过双任务微调进行不同处理。此外，利用LLM指令遵循能力的优势，我们提出了一种新的基于指令的对比调谏策略，用于在指令调谐方式下持续纠正当前认知偏差，更适合LLM的方式缓解旧关系和新关系之间的差距。我们在TACRED和FewRel上对模型进行实验评估，结果表明我们的模型以显著的改进实现了新的状态-of-the-art CRE性能，凸显了专注于挖掘错误案例的重要性。
引用
@article{arxiv.2508.12031,
title = {Learning Wisdom from Errors: Promoting LLM's Continual Relation Learning through Exploiting Error Cases},
author = {Shaozhe Yin and Jinyu Guo and Kai Shuang and Xia Liu and Ruize Ou},
journal= {arXiv preprint arXiv:2508.12031},
year = {2025}
}