解决领域特定数据选择中的知识冲突：以医学指令微调为例的案例研究
计算与语言
2025-05-29 v1
摘要
领域特定指令微调已成为提升大型语言模型在专门应用（如医学问答）中性能的事实标准。由于指令微调数据集可能包含冗余或低质量数据，通常需要进行数据选择以最大化数据效率。尽管在通用领域取得了成功，但当前的数据选择方法在为领域特定指令微调选择所需数据时常常遇到困难。其中一个主要原因是它们忽略了知识冲突的影响，即 LLM 的预训练知识与指令数据上下文知识之间的差异，这可能损害 LLM 的先验能力并导致幻觉。为此，我们提出了一种简单而有效的知识感知数据选择框架（即 KDS），以选择满足 LLM 实际需求的领域特定指令微调数据。KDS 的核心是利用两个知识感知指标，从上下文-记忆知识对齐和记忆内知识一致性两个方面定量衡量知识冲突。通过过滤具有大知识冲突的数据并采样高质量、多样化的数据，KDS 能够有效激发 LLM 的能力并实现更好的领域特定性能。以医学领域为测试平台，我们进行了广泛实验并实证证明 KDS 超越了其他基线，为所有 LLM 带来了显著且一致的性能提升。更令人鼓舞的是，KDS 有效提升了模型泛化能力并缓解了幻觉问题。
引用
@article{arxiv.2505.21958,
title = {Resolving Knowledge Conflicts in Domain-specific Data Selection: A Case Study on Medical Instruction-tuning},
author = {Qihuang Zhong and Liang Ding and Fei Liao and Juhua Liu and Bo Du and Dacheng Tao},
journal= {arXiv preprint arXiv:2505.21958},
year = {2025}
}