使用大语言模型为健康保险生成智能合约
计算与语言
2024-07-10 v1
摘要
我们探索了使用大语言模型 (LLM) 从文本化政策生成自动化健康保险进程的应用代码。我们目标是基于区块链的智能合约，因为它们提供了不可变性、可验证性、可扩展性以及无信任环境：任何数量的各方都可以使用智能合约，且无需之前就地建立信任关系。我们的方法在增加技术细节水平上生成输出：(1) 文本概述，(2) 声明性决策逻辑，(3) 带单元测试的智能合约代码。我们确认 LLM 在任务 (1) 中表现良好，结构化输出对验证任务 (2) 和 (3) 有用。声明性语言（任务 2）常用于形式化医疗保险政策，但其在区块链上的执行颇具挑战。因此，任务 (3) 旨在直接使用智能合约自动化此过程。为评估 LLM 输出，我们提出了完整性、正确性、清晰性、语法和功能性代码作为指标。我们的评估采用了三个健康保险政策（情景），难度递增，取自 Medicare 官方手册。我们的评估使用了 GPT-3.5 Turbo、GPT-3.5 Turbo 16K、GPT-4、GPT-4 Turbo 和 CodeLLaMA。我们的发现表明，LLM 在生成文本概述方面表现相当出色。尽管任务 (2) 和 (3) 的输出作为起点有用，但仍需人工审核：在多数情况下，即使是“可运行”代码也不会产生正确的结果；目标语言的流行程度会影响输出质量；更复杂的情景仍显得过于困难。尽管如此，我们的实验表明，LLM 在将文本化过程描述转化为智能合约方面具有潜力。
引用
@article{arxiv.2407.07019,
title = {Using Large Language Models for Generating Smart Contracts for Health Insurance from Textual Policies},
author = {Inwon Kang and William Van Woensel and Oshani Seneviratne},
journal= {arXiv preprint arXiv:2407.07019},
year = {2024}
}