TriviaHG：面向事实性问题的自动提示生成数据集

如今，人们倾向于与大型语言模型进行对话，寻求问题的答案。当此类答案对任何人都易于获取时，激发和保持人类的认知能力，以及确保人类维持良好的推理能力变得至关重要。本研究通过提出提示（而非最终答案或在给出答案之前）作为可行的解决方案来满足这些需求。我们引入了一个面向事实性问题的自动提示生成框架，并利用该框架构建了TriviaHG，这是一个新颖的大规模数据集，包含与TriviaQA数据集中16,645个问题相对应的160,230个提示。此外，我们提出了一种自动评估方法，用于衡量提示的收敛性和熟悉度质量属性。为了评估TriviaHG数据集和所提出的评估方法，我们邀请了10名标注员对2,791个提示进行标注，并让6名人类受试者使用提供的提示回答问题。提示的有效性各不相同，对于答案难度为简单、中等和困难的问题，成功率分别为96%、78%和36%。此外，所提出的自动评估方法与标注员的结果显示出强相关性。最后，研究结果突出了三个关键见解：提示在解决未知问题中的促进作用、提示质量对答案难度的依赖性，以及采用自动评估方法进行提示评估的可行性。