通过无标签课程式有意义学习诊断和补救大语言模型的知识缺陷
计算与语言
2024-08-22 v1 人工智能
摘要
大语言模型（LLMs）具有通用性，能够通过挖掘和学习广泛无标签文本中的信息展现出令人印象深刻的泛化能力。然而，它们仍然表现出推理错误，这些错误通常源于知识缺陷，从而可能影响其可信度和可靠性。尽管用户可以提供多样且全面的查询，但获取充分且有效的反馈仍然具有挑战性。此外，在有限有标签样本的情况下全面评估LLMs也十分困难。这使得通过丰富的无标签用户查询来诊断和补救LLMs的知识缺陷成为一项挑战。为应对这一挑战，我们提出了一个无标签课程式有意义学习框架（LaMer）。LaMer首先利用相对熵在无标签设置下自动诊断和量化LLMs的知识缺陷。接下来，为补救已诊断的知识缺陷，我们应用课程式有意义学习：首先，我们采用有意义学习根据缺陷的严重程度自适应地合成增强数据，然后设计课程式缺陷补救策略以逐步补救LLMs的知识缺陷。实验表明，LaMer能够高效且有效地诊断和补救LLMs的知识缺陷，在七个分布外（OOD）推理和语言理解基准测试上提升了各种LLMs的性能，仅使用40%的训练数据即可达到与基线可比的结果。LaMer甚至超越了依赖有标签数据集进行缺陷诊断的方法。在应用方面，我们的无标签方法可以为高效的LLM开发提供有效的知识缺陷诊断工具。
引用
@article{arxiv.2408.11431,
title = {Diagnosing and Remedying Knowledge Deficiencies in LLMs via Label-free Curricular Meaningful Learning},
author = {Kai Xiong and Xiao Ding and Li Du and Jiahao Ying and Ting Liu and Bing Qin and Yixin Cao},
journal= {arXiv preprint arXiv:2408.11431},
year = {2024}
}
备注
Under Review