可见非所学：保护多模态数据免受大型视觉语言模型未授权微调
密码学与安全
2026-05-15 v1 人工智能
计算与语言
计算机视觉与模式识别
机器学习
摘要
大型视觉语言模型（Large Vision-Language Models, LVLMs）的快速发展日益伴随着未授权抓取和训练多模态网络数据的行为，给数据所有者带来严重的版权和隐私风险。现有对策如机器遗忘和水印属于事后方法，仅在知识产权侵权发生后才起作用。在本工作中，我们提出 MMGuard，赋能数据所有者主动保护其多模态数据免受未授权 LVLM 微调。MMGuard 通过注入人类不可感知的扰动生成不可学习样本，主动利用 LVLMs 的学习动态。通过最小化训练损失，扰动创建了优化捷径，导致模型对噪声过拟合，从而在推理期无扰动时降低下游性能。为进一步强化此防御，MMGuard 引入跨模态绑定破坏，策略性地转移 LVLM 注意力以强制噪声与训练目标间的虚假关联，并具有理论保证。通过用于跨模型可迁移性的集成学习策略增强，MMGuard 在六个数据集上针对九个开源 LVLMs 进行了评估。我们的综合结果表明，在白盒、灰盒和黑盒威胁模型下实现了有效、隐蔽且鲁棒的保护，确立了在主动防御激进微调利用方面的机制优势。
引用
@article{arxiv.2605.14291,
title = {To See is Not to Learn: Protecting Multimodal Data from Unauthorized Fine-Tuning of Large Vision-Language Model},
author = {Chengshuai Zhao and Zhen Tan and Dawei Li and Zhiyuan Yu and Huan Liu},
journal= {arXiv preprint arXiv:2605.14291},
year = {2026}
}