对话式问答中的少样本策略（de）分解
计算与语言
2025-01-22 v1 人工智能
摘要
策略合规性检测（PCD）旨在判断一个情景是否符合给定的一组书面政策。在对话环境中，PCD的结果可以指示是否需要询问澄清性问题以确定合规状态。现有的做法通常声称拥有潜在或需要大量标注数据的推理能力。在本工作中，我们提出了策略合规性的逻辑分解（LDPC）：一种用于在少样本设置下使用大型语言模型（LLM）检测政策合规性的神经符号框架。通过仅选择少数示例并结合最近发展的提示技术，我们展示了我们的做法通过提取待回答的子问题、从上下文信息分配真值，并显式地从给定政策中生成一组逻辑语句来对政策合规性对话进行有效推理。显式逻辑图的构建可以进一步帮助以 increased 的透明度和可解释性回答 PCD-related 问题。我们将此方法应用于流行的 PCD 和对话机器阅读基准测试 ShARC，展示了在无任务特定微调的情况下获得竞争性能。我们还利用 LDPC 固有的可解释架构来理解错误发生的地方，揭示了 ShARC 数据集中的歧义，并突显了对话式问答推理面临的挑战。
引用
@article{arxiv.2501.11335,
title = {Few-shot Policy (de)composition in Conversational Question Answering},
author = {Kyle Erwin and Guy Axelrod and Maria Chang and Achille Fokoue and Maxwell Crouse and Soham Dan and Tian Gao and Rosario Uceda-Sosa and Ndivhuwo Makondo and Naweed Khan and Alexander Gray},
journal= {arXiv preprint arXiv:2501.11335},
year = {2025}
}