基于 LLM 的方法是否足以检测不公平的服务条款？
计算与语言
2024-09-09 v2 机器学习
摘要
每天都有大量服务条款（ToS）被全球用户在与各种应用和网站交互时接受。用户往往是盲目签署这些跨越数十页的在线合同，因为他们只想快速获取所需服务。通常需要法律团队咨询的工作，如今已简化为几次点击，用户可能在数据隐私等方面为无数在线实体/公司放弃权利。大型语言模型（LLM）擅长解析长文本文档， potentially 被用于在用户处理 ToS 中可疑条款及其 underlying 隐私政策时提供帮助。为调查现有模型在此任务中的实用性，我们首先构建了一个由 12 个问题构成的数据集，针对从流行网站爬取的多份隐私政策进行独立测试。随后，对这些问题查询多个开源及商业聊天机器人如 ChatGPT，其答案被与给定的 ground truth 进行比较。我们的结果表明，一些开源模型在某些方面能提供更高的准确率，而商业聊天机器人（如 ChatGPT4）则表现最佳。总体而言，所有模型在此任务上仅略高于随机。因此，在大规模部署前，其性能需要显著提升。
引用
@article{arxiv.2409.00077,
title = {Are LLM-based methods good enough for detecting unfair terms of service?},
author = {Mirgita Frasheri and Arian Bakhtiarnia and Lukas Esterle and Alexandros Iosifidis},
journal= {arXiv preprint arXiv:2409.00077},
year = {2024}
}