CEM：一种让大语言模型从错误中持续进化的数据高效方法
机器学习
2024-12-17 v7 人工智能
计算与语言
摘要
随着世界知识的进步和新任务模式的出现，持续学习（CL）对于保持大语言模型（LLM）的时效性和弥补其不足变得至关重要。该过程通常涉及持续指令微调（CIT）和持续预训练（CPT），以使这些模型能够适应新任务并获取关键知识。然而，收集足够的CPT数据和高效地弥补知识差距仍然是重大挑战。受“总结错误”策略的启发，我们提出了从错误中持续进化（CEM）方法，这是一种数据高效的方法，旨在通过迭代评估和补充与错误相关的知识来收集CPT数据并持续提升LLM的性能。为了进一步优化数据使用并缓解遗忘，我们引入了一种结合CIT和CPT的新型训练范式。实验表明，CEM在领域内和领域外的问答任务上显著提升了多个模型的性能，最高提升达29.63%。代码和数据集可在https://anonymous.4open.science/r/cem-BB25获取。
引用
@article{arxiv.2404.08707,
title = {CEM: A Data-Efficient Method for Large Language Models to Continue Evolving From Mistakes},
author = {Haokun Zhao and Haixia Han and Jie Shi and Chengyu Du and Jiaqing Liang and Yanghua Xiao},
journal= {arXiv preprint arXiv:2404.08707},
year = {2024}
}