用于可信税务推理的语言模型与逻辑程序

根据美国国税局的说法，“普通美国人花费 $270 美元和 13 小时来报税”。即使在美国之外，报税也需要复杂的推理，将重叠规则的应用与数值计算相结合。由于错误可能导致高昂的罚款，任何自动化系统都必须具备高准确性和可审计性，这使得现代大语言模型（LLM）不太适合此任务。我们提出了一种将 LLM 与符号求解器相集成以计算税务义务的方法。我们在具有挑战性的法定推理评估（SARA）数据集上评估了该系统的变体，并包含了一种基于税务错误现实罚款来估计部署此类系统成本的新方法。我们进一步展示了，将纯文本规则的前端翻译为形式逻辑程序，结合为形式化案例表示智能检索的示例，可以显著提高在此任务上的性能，并将成本降至远低于现实世界平均水平。我们的结果证明了将语义解析方法应用于法定推理的有效性，并表明神经符号架构在增加获取可靠税务辅助途径方面具有可期的经济可行性。