BMGQ：从半结构化数据生成复杂多跳推理问题的自下而上方法
人工智能
2025-11-26 v2
摘要
近年来构建能够真正考验模型检索与推理能力的训练就绪型多跳问答数据集 remains highly 有挑战性。虽然近期已有少数评估数据集捕获了困难检索但易验证问题的特征——需要整合模糊、间接和跨域线索——但这些数据资源仍稀缺，大多为评估设计，不适用于监督微调 (SFT) 或强化学习 (RL)。同时，手动策划非平凡可检索问题——即答案不能通过单一直接查询获取，而是需要对斜率和松散关联证据进行多跳推理——的成本高昂且难以规模化，为训练高能力检索-推理智能体创造了关键数据瓶颈。为此，我们提出 BMGQ，即从半结构化知识来源生成高难度训练就绪型多跳问题的自下而上自动方法。BMGQ 系统 (i) 通过基于自然语言推理 (NLI) 的关系类型化和多样性感知扩展生长出多样且逻辑标记的证据簇；(ii) 应用逆向问题构建，将斜率线索组合，使得孤立信号不足以唯一确定目标实体；(iii) 通过多模型共识过滤、结构约束分解和证据匹配的两步评估管道确保质量。结果是可扩展的过程，产生适用于 SFT/RL 训练以及具备挑战性评估的复杂、检索抗性但可验证的问题，大幅减少人工标注成本，同时保持强评估基准的难度特征。
引用
@article{arxiv.2510.24151,
title = {BMGQ: A Bottom-up Method for Generating Complex Multi-hop Reasoning Questions from Semi-structured Data},
author = {Bingsen Qiu and Zijian Liu and Xiao Liu and Bingjie Wang and Feier Zhang and Yixuan Qin and Chunyan Li and Haoshen Yang and Zeren Gao},
journal= {arXiv preprint arXiv:2510.24151},
year = {2025}
}