基于域适配的高效微调视觉 Transformer 于加密图像
计算机视觉与模式识别
2023-09-08 v2 密码学与安全
机器学习
摘要
近年来，使用变换数据训练的深度神经网络（DNNs）已被应用于隐私保护学习、访问控制和对抗防御等多种场景。然而，变换数据的使用会降低模型性能。为此，本文提出一种在采用视觉 Transformer（ViT）的条件下用变换图像微调模型的新方法。所提出的域适配方法不会引起模型准确率下降，并且其基于 ViT 的嵌入结构实现。在实验中，我们确认即便使用 CIFAR-10 与 CIFAR-100 数据集的加密图像，所提方法也能防止准确率下降。
引用
@article{arxiv.2309.02556,
title = {Domain Adaptation for Efficiently Fine-tuning Vision Transformer with Encrypted Images},
author = {Teru Nagamori and Sayaka Shiota and Hitoshi Kiya},
journal= {arXiv preprint arXiv:2309.02556},
year = {2023}
}
备注
Accepted by APSIPA 2023