Clio：对现实世界 AI 使用的隐私保护洞察
计算机与社会
2024-12-19 v1 人工智能
计算与语言
密码学与安全
机器学习
摘要
AI 助手在现实世界中是如何被使用的？虽然模型提供商理论上可以通过用户数据了解这种影响，但隐私担忧和实际挑战使得分析这些数据变得困难。为了解决这些问题，我们推出了 Clio（Claude insights and observations，Claude 洞察与观察），这是一个隐私保护平台，它利用 AI 助手本身来分析并呈现跨数百万次对话的聚合使用模式，而无需人工审阅者阅读原始对话。我们通过广泛的评估验证了这可以在高度准确和隐私保护的前提下完成。我们通过两大方面展示了 Clio 的实用性。首先，我们分享了来自一百万次 Claude.ai 免费版和专业版对话的关于模型在现实世界中如何使用的洞察，涵盖从提供发型建议到提供 Git 操作和概念指导的广泛内容。我们还确定了 Claude.ai 上最常见的高层用例（编程、写作和研究任务），以及不同语言之间的差异模式（例如，日语对话讨论老年护理和人口老龄化的比例高于一般水平）。其次，我们利用 Clio 来提高我们系统的安全性，具体方式包括识别针对我们系统的协同滥用企图，在发布新功能或重大世界事件等关键时期监控未知风险，以及改进我们现有的监控系统。我们还讨论了该方法的局限性以及风险和伦理问题。通过支持对现实世界 AI 使用的分析，Clio 为基于实证的 AI 安全与治理提供了一个可扩展的平台。
引用
@article{arxiv.2412.13678,
title = {Clio: Privacy-Preserving Insights into Real-World AI Use},
author = {Alex Tamkin and Miles McCain and Kunal Handa and Esin Durmus and Liane Lovitt and Ankur Rathi and Saffron Huang and Alfred Mountfield and Jerry Hong and Stuart Ritchie and Michael Stern and Brian Clarke and Landon Goldberg and Theodore R. Sumers and Jared Mueller and William McEachen and Wes Mitchell and Shan Carter and Jack Clark and Jared Kaplan and Deep Ganguli},
journal= {arXiv preprint arXiv:2412.13678},
year = {2024}
}