RACE-Align：面向大语言模型的检索增强与思维链增强偏好对齐
计算与语言
2025-06-04 v1 人工智能
机器学习
摘要
大语言模型（LLM）在垂直领域中面临准确性、特定领域推理和可解释性的挑战。传统的偏好对齐方法如基于人类反馈的强化学习（RLHF）和直接偏好优化（DPO）通常忽略了底层的知识来源和推理逻辑。本文介绍了 RACE-Align（检索增强与思维链增强对齐），一种旨在解决这些限制的新颖框架。RACE-Align 系统地构建了一个结合外部知识支持和显式思维链（CoT）推理的二元偏好数据集，然后使用 DPO 算法对齐 LLM。其核心创新在于偏好数据构建策略：它集成了 AI 驱动的检索以实现事实基础，增强知识性和准确性，并强调特定领域 CoT 的优化，将推理过程本身视为关键的偏好维度。多阶段、AI 驱动的优化流水线以低成本生成这些偏好对。在中医学（TCM）领域使用 Qwen3-1.7B 作为基础模型进行的实验验证表明，RACE-Align 显著优于原始基础模型和仅使用监督微调（SFT）的模型。在多个维度上观察到改进，包括答案准确性、信息丰富度、TCM 思维模式的应用、推理的逻辑性和深度以及可解释性。这些发现表明，RACE-Align 为增强 LLM 在复杂垂直领域的知识应用、推理可靠性和过程透明度提供了一条有效途径。
引用
@article{arxiv.2506.02726,
title = {RACE-Align: Retrieval-Augmented and Chain-of-Thought Enhanced Preference Alignment for Large Language Models},
author = {Qihang Yan and Xinyu Zhang and Luming Guo and Qi Zhang and Feifan Liu},
journal= {arXiv preprint arXiv:2506.02726},
year = {2025}
}