情境化自然语言解释的场景与方法

大型语言模型（LLM）可用于生成适合不同用户情境的自然语言解释（NLE）。然而，尚无量化评估说明解释程度的适应性。为填补这一空白，我们收集了一个基准数据集 Situation-Based Explanation（SBE）。该数据集包含 100 个解释对象。每个解释对象配有针对三个不同受众类型的解释——例如教育者、学生和专业人士——以评估这些解释如何满足这些不同群体（如学生、教师和家长）的具体信息需求和情境。对于每个“解释对象与受众”情境，我们包括一个人编写的解释。这些解释允许我们计算量化 LLM 如何将解释适应情境的分数。针对不同规模的预训练语言模型，我们检查三类提示方法：规则化提示、元提示和情境学习提示。我们发现：1) 语言模型可生成结果更精确地适应目标情境的提示；2) 显式建模“助手”人格通过提示“你是一个有帮助的助手...”并非情境化 NLE 任务的必要提示技术；3) 情境学习提示仅能帮助 LLM 学习演示模板，却无法提高其推理性能。SBE 和我们的分析促进了未来研究向生成情境化自然语言解释的方向发展。