隐藏结构——通过显式文本格式化提升法律文档理解

法律合同具有内在且在语义上至关重要的结构(如章节、条款)，对人类理解至关重要，但其对LLM处理的影响尚未得到充分探索。本文研究了显式输入文本结构和提示工程对GPT-4o和GPT-4.1在基于CUAD的法律问答任务中性能的影响。我们比较了各种输入格式下的模型exact-match准确率：良好结构化的纯文本(来自CUAD的人工生成)、清除换行符的纯文本、从Azure OCR提取的纯文本、由GPT-4o Vision提取的纯文本、以及GPT-4o Vision提取并解释的Markdown(MD)。为衡量可能的提示工程影响，我们评估了将任务指令移至系统提示并明确告知模型输入结构化特性的效果。我们的发现表明，GPT-4o对输入结构变化具有相当鲁棒性，但总体性能较差。相反，GPT-4.1的性能呈现显著敏感性； poorly结构化的输入导致次优结果(但与GPT-4o相同)，而良好结构化的格式(原始CUAD文本、GPT-4o Vision文本和GPT-4o MD)可将exact-match准确率提升约20个百分点。进一步优化系统提示以包括任务细节和关于结构化输入的建议，可使GPT-4.1准确率提升额外10-13个百分点，其中Markdown最终实现最高性能(总体exact-match准确率达79个百分点)。本研究实证表明，尽管较新模型显示出更大的鲁棒性，谨慎的输入结构化和战略性的提示设计仍对优化LLM性能至关重要，以及在高风险法律应用中可显著影响结果。