中间层输出比你想象的更敏感
计算机视觉与模式识别
2024-12-03 v1 密码学与安全
机器学习
机器学习
摘要
日益增长的深度计算机视觉模型在处理敏感数据方面的依赖性引发了显著的隐私担忧，尤其是关于隐藏层中间结果暴露的问题。虽然传统的隐私风险评估技术侧重于保护整体模型输出，但常常忽视了这些中间表示内部的漏洞。当前的隐私风险评估技术通常依赖于特定的攻击模拟来评估风险，这种做法计算成本高昂且评估不完整。本文引入了一种基于自由度 (Degrees of Freedom, DoF) 和中间输出灵敏度的深度计算机视觉模型隐私风险测量方法，无需进行对抗性攻击模拟。我们提出了一种框架，通过 DoF 评估每一层保留的信息量，并结合雅可比矩阵的秩来评估对输入变化的灵敏度。这种双重分析使我们能够系统性地测量不同模型层的隐私风险。我们的实验验证在真实数据集上表明，这种方法在提供有关中间表示相关隐私风险的深入见解方面效果显著。
引用
@article{arxiv.2412.00696,
title = {Intermediate Outputs Are More Sensitive Than You Think},
author = {Tao Huang and Qingyu Huang and Jiayang Meng},
journal= {arXiv preprint arXiv:2412.00696},
year = {2024}
}