黑盒分析：GPT 模型在法律文本蕴含任务中跨时间的表现
计算与语言
2023-09-12 v1 人工智能
摘要
生成式预训练 Transformer（GPT）模型的演进推动了各类自然语言处理应用的显著进步，尤其在法律文本蕴含方面。我们针对 COLIEE 任务 4 数据集（该领域的著名基准）分析了 GPT-3.5（ChatGPT）与 GPT-4 的性能。研究涵盖自平成 18 年（2006）至令和 3 年（2021）的数据，探究这些模型在不同历史时期日本成文法内辨别蕴含关系的能力。我们的初步实验结果揭示了关于模型处理法律文本蕴含任务优势与劣势的有趣见解，以及观测到的模型性能模式。在架构与权重均未公开的专有模型背景下，黑盒分析对于评估其能力至关重要。我们讨论了训练数据分布的影响及其对模型泛化能力的含义。该分析为未来研究奠定基础，旨在优化基于 GPT 的模型并使其成功应用于法律信息抽取与蕴含任务。
引用
@article{arxiv.2309.05501,
title = {Black-Box Analysis: GPTs Across Time in Legal Textual Entailment Task},
author = {Ha-Thanh Nguyen and Randy Goebel and Francesca Toni and Kostas Stathis and Ken Satoh},
journal= {arXiv preprint arXiv:2309.05501},
year = {2023}
}
备注
ISAILD@KSE 2023