用于无透镜分类的隐私增强型光学嵌入
计算机视觉与模式识别
2022-11-24 v1 图像与视频处理
摘要
无透镜成像因其测量的高度复用特性可提供视觉隐私。然而，仅此为一种弱安全形式，因为可设计各种对抗攻击来反演此类相机的一对多场景映射。在本工作中，我们通过（1）在传感器处下采样以及（2）使用具有可变图案的可编程掩模作为光学编码器，来增强无透镜成像所提供的隐私。我们用低成本 LCD 和 Raspberry Pi 组件构建了一个原型，总成本约 100 美元。这一极低价格使我们的系统能够部署并应用于广泛场景中。在实验中，我们首先通过将系统应用于各种分类任务（MNIST、CelebA（人脸属性）和 CIFAR10）来证明系统的可行性与可重构性。通过端到端联合优化掩模图案与数字分类器，直接在传感器处学习到低维、隐私增强的嵌入。其次，我们展示所提系统如何通过可变掩模图案挫败试图反演系统的对手：（1）通过明文攻击，或（2）在相机参数泄露的情况下。我们展示了系统对这两种风险的防御，基于模型凸优化和生成式神经网络的攻击在图像质量指标上分别下降 55% 和 26%。我们开源了端到端优化所需的波传播与相机模拟器、训练软件以及用于与相机交互的库。
引用
@article{arxiv.2211.12864,
title = {Privacy-Enhancing Optical Embeddings for Lensless Classification},
author = {Eric Bezzam and Martin Vetterli and Matthieu Simeoni},
journal= {arXiv preprint arXiv:2211.12864},
year = {2022}
}
备注
30 pages, 27 figures, under review, for code, see https://github.com/ebezzam/LenslessClassification. arXiv admin note: substantial text overlap with arXiv:2206.01429