分阶段提问:合同问答中的提示链技术
计算与语言
2024-10-18 v1 计算机视觉与模式识别
机器学习
摘要
对于关于合同条款问题的答案查找,是许多法律工作流程(如理解市场趋势、尽职调查、风险缓解)中重要的分析形式,但更重要的是能够实现规模化。先前的研究表明,使用大型语言模型配合简单零样本提示即可生成结构化答案,可被整合到法律工作流程中。尽管这些提示在简单直接的条款上有效,但在条款冗长且包含与问题无关信息时,往往难以胜任。本文提出了两阶段提示链技术,用于生成多个选择题和多选题的结构化答案,证明其在更细致的法律文本上更为有效。我们分析了该技术效果良好的情形,以及需要进一步细化的领域,尤其是当底层语言变化超出仅通过指定可能答案所能捕捉的范围时。最后,我们讨论了未来研究,以改进第一阶段结果,通过使其更具针对性来提升效果。
引用
@article{arxiv.2410.12840,
title = {Answering Questions in Stages: Prompt Chaining for Contract QA},
author = {Adam Roegiest and Radha Chitta},
journal= {arXiv preprint arXiv:2410.12840},
year = {2024}
}