人工智能监控中的涌现人类重识别及其缓解措施
计算机视觉与模式识别
2025-10-08 v1 人工智能
计算机与社会
机器学习
摘要
通用实例搜索模型可以显著减少在犯罪调查中分析海量监控录像所需的手动工作量，通过检索特定感兴趣对象实现警方检索。然而，我们的研究揭示了一种意外的涌现能力：通过过学习，这些模型即使在没有人类主体的数据集上训练，也能识别特定个体。这种能力引发了关于基于个人数据对个体进行识别和轮廓化的担忧，而目前尚无明确的去识别标准。我们评估了两种技术安全措施来抑制模型的人类重识别能力：索引排除和混淆损失。我们的实验表明，这两种方法的组合可以将人类重识别准确率降至 2% 以下，同时保持非人类对象的检索性能的 82%。然而，我们识别出这些缓解措施存在关键漏洞，包括可能通过部分人类图像进行规避。这些发现凸显了 AI 治理与数据保护交叉处的紧急监管问题：我们应如何分类和监管具有涌现识别能力的系统？应要求哪些技术标准来防止这些能力在看似无害的应用中发展？
引用
@article{arxiv.2510.06026,
title = {Emergent AI Surveillance: Overlearned Person Re-Identification and Its Mitigation in Law Enforcement Context},
author = {An Thi Nguyen and Radina Stoykova and Eric Arazo},
journal= {arXiv preprint arXiv:2510.06026},
year = {2025}
}
备注
10 pages, accepted to AIES 2025