危机中的同意：AI 数据公共领地的快速衰落
计算与语言
2024-07-25 v2 人工智能
机器学习
摘要
通用人工智能(AI)系统构建于大规模公共网页数据之上，这些数据被整合成诸如C4、RefinedWeb和Dolma等语料库。我们不胜怀疑地进行了首次大规模、纵向审计AI训练语料库背后网页域的同意协议。我们对14,000个网页域的审计提供了对可爬取网页数据及其数据使用偏好随时间变化的广泛视图。我们观察到AI专属条款的增多以限制使用，开发者限制上的显著差异，以及网站在其服务条款与robots.txt中表达意图的常规不一致性。我们诊断这些现象为网页协议无效所致，这些协议并非为应对互联网广泛用于AI的再利用而设计。我们的纵向分析显示，在一年内(2023-2024)，数据来源的限制呈快速攀升趋势，导致C4中约5%+的所有标记，或最活跃维护的C4中约28%的关键来源完全受限使用。对于服务条款爬取限制，现已达到C4的45%。如果这些限制被尊重或执行，它们正快速偏向通用AI系统的多样性、时效性和规模法则。我们希望说明数据同意领域正在出现的危机，面向开发者和创作者。大规模开放网页的关闭将不仅影响商业AI，也将影响非商业AI和学术研究。
引用
@article{arxiv.2407.14933,
title = {Consent in Crisis: The Rapid Decline of the AI Data Commons},
author = {Shayne Longpre and Robert Mahari and Ariel Lee and Campbell Lund and Hamidah Oderinwale and William Brannon and Nayan Saxena and Naana Obeng-Marnu and Tobin South and Cole Hunter and Kevin Klyman and Christopher Klamm and Hailey Schoelkopf and Nikhil Singh and Manuel Cherep and Ahmad Anis and An Dinh and Caroline Chitongo and Da Yin and Damien Sileo and Deividas Mataciunas and Diganta Misra and Emad Alghamdi and Enrico Shippole and Jianguo Zhang and Joanna Materzynska and Kun Qian and Kush Tiwary and Lester Miranda and Manan Dey and Minnie Liang and Mohammed Hamdy and Niklas Muennighoff and Seonghyeon Ye and Seungone Kim and Shrestha Mohanty and Vipul Gupta and Vivek Sharma and Vu Minh Chien and Xuhui Zhou and Yizhi Li and Caiming Xiong and Luis Villa and Stella Biderman and Hanlin Li and Daphne Ippolito and Sara Hooker and Jad Kabbara and Sandy Pentland},
journal= {arXiv preprint arXiv:2407.14933},
year = {2024}
}
备注
41 pages (13 main), 5 figures, 9 tables