基于LLM的隐私政策自动化分析：提示工程、微调与可解释性
计算与语言
2025-03-24 v1 人工智能
摘要
隐私政策是数字服务中广泛使用的工具，常用于法律目的。已开发出许多基于机器学习的分类器，用于自动检测给定隐私政策中的不同概念，有助于实现诸如生成更易读的摘要和检测法律合规性等其他自动化任务。尽管大语言模型(LLM)已成功应用于various领域的NLP任务，但关于LLM用于隐私政策分析的工作仍很少。为填补这一研究空白，我们对LLM-based隐私政策概念分类器进行了全面评估，采用提示工程和LoRA(low-rank adaptation)微调方法，在四个最先进(SOTA)的隐私政策语料库和分类法中进行实验。我们的实验结果表明，提示工程与微调的组合可以使LLM-based分类器在隐私政策语料库/分类法和概念方面超越其他SOTA方法，显著且持续地表现更佳。此外，我们使用三项指标评估了LLM-based分类器的可解释性：完整性、逻辑性和可理解性。在所有三项指标上，我们的评估均达到了91.1%以上的得分，表明LLM不仅有用于提高分类性能，还能增强检测结果的可解释性。
引用
@article{arxiv.2503.16515,
title = {Highlighting Case Studies in LLM Literature Review of Interdisciplinary System Science},
author = {Lachlan McGinness and Peter Baumgartner},
journal= {arXiv preprint arXiv:2503.16515},
year = {2025}
}