ExpertGenQA：专业领域开放式问答生成
计算与语言
2025-03-06 v1 信息检索
摘要
生成高质量的专业技术领域问答对仍然具有挑战性，现有方法在利用专家示例与实现主题多样性之间存在权衡。我们提出了 ExpertGenQA，一种结合少样本学习与结构化主题和风格分类来生成全面的领域特定问答对的方案。以美国联邦铁路管理局文件为测试平台，我们证明 ExpertGenQA 的效率是基线少样本方法的两倍，同时保持了 94.4% 的主题覆盖率。通过系统性评估，我们表明当前的 LLM 裁判模型和奖励模型强烈偏向于表面写作风格而非内容质量。利用布鲁姆分类法（Bloom's Taxonomy）进行的分析显示，与基于模板的方法相比，ExpertGenQA 更好地保留了专家编写问题的认知复杂度分布。当用于训练检索模型时，我们生成的查询将 top-1 准确率提升了 13.02%，证明了其在技术领域的下游应用有效性。
引用
@article{arxiv.2503.02948,
title = {ExpertGenQA: Open-ended QA generation in Specialized Domains},
author = {Haz Sameen Shahgir and Chansong Lim and Jia Chen and Evangelos E. Papalexakis and Yue Dong},
journal= {arXiv preprint arXiv:2503.02948},
year = {2025}
}