重新审视兼顾隐私保护的肖像抠图
计算机视觉与模式识别
2023-04-18 v2 人工智能
摘要
近来，机器学习中由可识别信息引发的隐私问题日益受到关注。然而，以往的肖像抠图方法均基于可识别图像。为填补这一空白，我们提出 P3M-10k，这是首个用于隐私保护肖像抠图（P3M）的大规模匿名基准。P3M-10k 包含 10,421 张高分辨率人脸模糊的肖像图像及高质量 alpha 抠图，使我们能够系统评估无 trimap 与基于 trimap 的抠图方法，并获得关于隐私保护训练（PPT）设定下模型泛化能力的一些有用发现。我们还提出了一个统一的抠图模型 P3M-Net，其兼容 CNN 与 transformer 骨干网络。为进一步缓解 PPT 设定下的跨域性能差距问题，我们设计了一种简单而有效的复制粘贴策略（P3M-CP），该策略从公开名人图像借用面部信息，并在数据与特征层面引导网络重新获取人脸上下文。在 P3M-10k 与公开基准上的大量实验证明了 P3M-Net 相对于最先进方法的优越性，以及 P3M-CP 在提升跨域泛化能力方面的有效性，表明 P3M 对未来研究与现实应用具有重要意义。
引用
@article{arxiv.2203.16828,
title = {Rethinking Portrait Matting with Privacy Preserving},
author = {Sihan Ma and Jizhizi Li and Jing Zhang and He Zhang and Dacheng Tao},
journal= {arXiv preprint arXiv:2203.16828},
year = {2023}
}
备注
Accepted to the International Journal of Computer Vision (IJCV). The code, dataset, and models are available at https://github.com/ViTAE-Transformer/P3M-Net. arXiv admin note: substantial text overlap with arXiv:2104.14222