UnSeg:面向所有图像分割任务的通用不可学习生成器
计算机视觉与模式识别
2024-10-15 v1 密码学与安全
机器学习
摘要
图像分割是计算机视觉中的关键任务,通过对图像内的像素进行分组以生成语义上有意义的区域,从而实现对真实场景的细粒度理解。然而,随着大规模图像分割模型在未经授权的私有数据上进行训练,日益增长的隐私关注度成为亟待解决的问题。本文我们利用不可学习样本的概念,通过生成并向原始图像中添加不可学习噪声来使其在模型训练中不可用。具体地,我们提出了一种新颖的不可学习分割框架(Unlearnable Segmentation, UnSeg),用于训练一个通用不可学习噪声生成器,能够将任意下游图像转换为其不可学习版本。该不可学习噪声生成器基于双层优化方法,从Segment Anything Model (SAM) 中微调而来,目标是最小化与SAM相同架构但从零训练的替代模型的训练误差。我们在6种主流图像分割任务、10个广泛使用的数据集以及7种不同的网络架构上进行了实证验证,表明不可学习图像可显著降低分割性能。我们的工作为如何以数据效率高且计算成本友好的方式利用基础模型来保护图像免受图像分割模型的威胁提供了有价值的洞见。
引用
@article{arxiv.2410.09909,
title = {UnSeg: One Universal Unlearnable Example Generator is Enough against All Image Segmentation},
author = {Ye Sun and Hao Zhang and Tiehua Zhang and Xingjun Ma and Yu-Gang Jiang},
journal= {arXiv preprint arXiv:2410.09909},
year = {2024}
}
备注
NeurIPS 2024