基于 LLM 的食品安全法规中与需求相关条款的分类实证研究
软件工程
2025-01-27 v1
摘要
随着工业 4.0 变革食品行业，软件在实现食品安全法规合规性方面的作用日益关键。食品安全法规（如许多法律领域的规定）通常以技术无关的方式表述，以确保其长期有效性和广泛适用性。然而，这种方法在规定与现代系统和软件日益增多的应用之间留下了间隙。本文 pursuit 两个主要目标。首先，我们开展了食品安全法规的 grounded theory 研究，发展了与系统和软件需求密切相关的食品安全概念的概念化表述。其次，我们检验了两类大型语言模型（LLM）——BERT 和 GPT——在基于需求相关食品安全概念自动分类法规条款方面的有效性。我们的结果表明：(a) 在微调后，BERT 和 GPT 系列中最佳模型之间的准确率差异相对较小。尽管我们的实验中最强大的模型 GPT-4o 仍实现最高准确率，平均精确率为 89%，平均召回率为 87%；(b) 采用 GPT-4o 的 few-shot 学习将召回率提高到 97%，但将精确率降至 65%，表明微调与 few-shot 学习之间存在权衡；(c) 尽管我们的训练示例仅来自加拿大法规，LLM 基于分类的性能在来自美国的测试条款上仍表现良好，表明其在监管司法管辖区之间具有一定的可推广性；(d) 对于我们的分类任务，LLM显著优于使用长短期记忆网络（LSTM）和自动关键词提取构建的简单基线。
引用
@article{arxiv.2501.14683,
title = {An Empirical Study on LLM-based Classification of Requirements-related Provisions in Food-safety Regulations},
author = {Shabnam Hassani and Mehrdad Sabetzadeh and Daniel Amyot},
journal= {arXiv preprint arXiv:2501.14683},
year = {2025}
}