面向 LLM 驱动的自然语言合同形式规范生成：基于 Symboleo 的早期实验
软件工程
2024-11-26 v1
摘要
过去十年间，提出了不同的领域特定语言（DSL）用于形式化指定主要用于分析的合同要求，亦用于代码生成。Symboleo 是该领域的有前景的语言。然而，从自然语言合同中编写形式规范是一项复杂任务，尤其是对于没有形式语言专业知识的法律专家。本文报告了一项针对使用大型语言模型（LLM）从英文商业合同中自动生成 Symboleo 规范的探索性实验。研究了38种提示组件的组合（是否包含语法、语义解释、0至3个示例以及情感提示），主要在GPT-4o上测试，也对4个其他LLM进行了有限测试。对生成的规范进行了人工评估，针对16类错误类型（分为3个严重程度等级）进行评估。所有LLM的早期结果显示出有前景的成果（即便针对一个鲜为人知的DSL），将很快加速合同的形式化规范编写。然而，观察到的若干问题，尤其是关于语法/语法遵循和环境变量识别（49%），表明仍需在多个方面进行潜在改进。
引用
@article{arxiv.2411.15898,
title = {Towards the LLM-Based Generation of Formal Specifications from Natural-Language Contracts: Early Experiments with Symboleo},
author = {Mounira Nihad Zitouni and Amal Ahmed Anda and Sahil Rajpal and Daniel Amyot and John Mylopoulos},
journal= {arXiv preprint arXiv:2411.15898},
year = {2024}
}
备注
9 pages, 1 figure, 2 tables, submitted to a workshop