利用无标注数据选择解释以用于思维链提示

近期工作展示了如何以解释提示大语言模型，从而在文本推理任务上获得强劲表现，即思维链范式。然而，细微不同的解释会导致差异巨大的下游任务准确率。未针对任务“调优”的解释，例如非专家撰写的现成解释，可能导致平庸表现。本文以黑盒方式解决如何优化注入解释的提示这一问题。我们首先利用留一法为每个提示中的示例生成候选解释集合，随后以两阶段框架寻找这些解释的有效组合。我们首先依据两个代理指标——对数似然与新示例上的准确率——孤立评估每个上下文示例的解释。然后，我们搜索解释的组合，以找到在银标开发集上表现优异的一个。在涵盖问答、数学推理与自然语言推理的四项文本推理任务上，结果表明我们的代理指标与真实准确率相关，且我们的整体方法相较众包标注与朴素搜索策略能有效改进提示。