Alexpaca：无需示例学习事实性澄清问题生成
计算与语言
2024-10-15 v3 机器学习
摘要
现实任务（如提供法律或技术建议）在开始时往往缺乏完整上下文，且答案可能因其而异。通过提出澄清问题来获取缺失事实信息（ACQ）是此类推理任务中现实协作的重要一环。现有事实性澄清问题挑战基于词重叠或人工评估来评价生成结果。近期工作探索先生成对澄清问题的回应，再直接评估其效用。迄今为止，这些任务仅限于消歧用户意图，而非关于情境的具体事实。事实领域带来独特挑战，因为澄清问题的回应必须事实正确才能准确评估。为支持事实领域澄清问题生成的评估，我们提出一项新任务，聚焦于在多跳推理任务中引出缺失信息的能力。该任务 HotpotQA-FLM 可自动评估，便于对语言模型进行基准测试。我们观察到人类大幅优于 GPT-4，而 Llama 3 8B Instruct 在某些指标上甚至未超越虚拟基线。最后，我们发现通过对 Llama 3 8B Instruct 自身的生成结果进行拒绝采样过滤后微调，可将信息恢复率提升 27.6%。
引用
@article{arxiv.2310.11571,
title = {Alexpaca: Learning Factual Clarification Question Generation Without Examples},
author = {Matthew Toles and Yukun Huang and Zhou Yu and Luis Gravano},
journal= {arXiv preprint arXiv:2310.11571},
year = {2024}
}