面向隐私保护图像分类的低秩适配 Vision Transformer 有效微调方法
密码学与安全
2025-07-17 v1 人工智能
计算机视觉与模式识别
摘要
我们提出了一种用于训练隐私保护视觉转换器（ViT）模型的低秩适配方法，有效地冻结预训练的 ViT 模型权重。在提出的方法中，注入每个 ViT 架构层的可训练秩分解矩阵，而且，与常规低秩适配方法不同，-patch 嵌入层不会被冻结。该方法不仅允许我们减少可训练参数的数量，还能几乎保持与完整调优相同的准确率。
引用
@article{arxiv.2507.11943,
title = {Effective Fine-Tuning of Vision Transformers with Low-Rank Adaptation for Privacy-Preserving Image Classification},
author = {Haiwei Lin and Shoko Imaizumi and Hitoshi Kiya},
journal= {arXiv preprint arXiv:2507.11943},
year = {2025}
}
备注
3 pages, 3 figures, conference