WikiHint：用于提示排序和生成的人工标注数据集

大型语言模型（LLM）的使用显著增加，用户经常向聊天机器人提问。在信息易于获取的时代，刺激和保持人类认知能力以及维持强大的推理技能至关重要。本文通过推广使用提示作为直接答案的替代或补充来应对这些挑战。我们首先介绍一个手动构建的提示数据集 WikiHint，它基于维基百科，包含为 1000 个问题创建的 5000 个提示。然后，我们在答案感知和答案无关的上下文中微调开源 LLM 以生成提示。我们通过让人类参与者在有和没有提示辅助的情况下回答问题来评估提示的有效性。此外，我们引入了一种轻量级评估方法 HintRank，用于在答案感知和答案无关的设定中评估和排序提示。我们的研究结果表明：(a) 该数据集有助于生成更有效的提示，(b) 在问题中包含答案信息通常会提高生成提示的质量，以及 (c) 基于编码器的模型在提示排序方面优于基于解码器的模型。