DeepThink：与领域特定用户意图对齐的语言模型
计算与语言
2025-02-14 v2
摘要
使用合成指令进行的监督式微调是适配大语言模型（LLM）进行特定领域问答任务的常见做法。然而，合成指令偏离真实用户提问及其预期答案。本研究提出一种名为 DeepThink 的新型框架，用于生成高质量指令。DeepThink 首先生成少量种子问题以模拟实际用户提问，模拟对话以揭示隐藏的用户需求，并通过对话上下文和检索文档对答案进行细化，以获得更为全面的答案。实验表明，在广告领域的真实用户测试集上，DeepThink 相较于基于 GPT-4-turbo+RAG 的助手，在相关性、完整性、清晰度、准确性和可操作性等维度上平均提升了 7.92%。
引用
@article{arxiv.2502.05497,
title = {DeepThink: Aligning Language Models with Domain-Specific User Intents},
author = {Yang Li and Mingxuan Luo and Yeyun Gong and Chen Lin and Jian Jiao and Yi Liu and Kaili Huang},
journal= {arXiv preprint arXiv:2502.05497},
year = {2025}
}