识别与业务流程相关的监管要求:生成式 AI、基于嵌入的排序、众包与专家驱动方法的比较研究
计算与语言
2024-01-09 v1 人工智能
摘要
组织面临确保合规性的挑战,需要满足来自各类监管文档日益增多的要求。哪些要求是相关的,取决于组织的地理位置、所属领域、规模及其业务流程等层面。考虑到这些上下文因素,作为第一步,需识别相关文档(如法律、法规、指令、政策),随后更详细地分析已识别文档的哪些部分与给定业务流程的哪个步骤相关。如今,识别与业务流程相关的监管要求主要由领域和法律专家手动完成,这给他们带来了巨大的工作量,尤其是对于可能频繁变更的大量监管文档。因此,本研究探讨如何协助法律和领域专家进行相关要求的评估。为此,我们将基于嵌入的 NLP 排序方法、使用 GPT-4 的生成式 AI 方法、众包方法与专家纯手动创建相关性标签的方法进行比较。所提出的方法基于两个案例研究进行评估:一个由领域专家参与创建的澳大利亚保险案例,以及一个改编自 SAP Signavio 国际指南工作流示例的全球银行业用例。为两个 BPMN2.0 流程创建了黄金标准,并将其与来自多份监管文档的真实世界文本要求相匹配。评估与讨论深入分析了每种方法在适用性、自动化、透明度和可重复性方面的优缺点,并提供了指导原则,说明针对应用场景的流程使用、影响和动态等给定特征,哪种方法组合将最大化收益。
引用
@article{arxiv.2401.02986,
title = {Identification of Regulatory Requirements Relevant to Business Processes: A Comparative Study on Generative AI, Embedding-based Ranking, Crowd and Expert-driven Methods},
author = {Catherine Sai and Shazia Sadiq and Lei Han and Gianluca Demartini and Stefanie Rinderle-Ma},
journal= {arXiv preprint arXiv:2401.02986},
year = {2024}
}