DocMIA：针对 DocVQA 模型的文件级成员推断攻击

文档视觉问答（DocVQA）引入了面向端到端文档理解的新范式，迅速成为多模态大语言模型中的一个标准基准。驱动 DocVQA 模型自动化文档处理工作流程的潜力巨大，已在众多行业中展现出重要价值。然而，文档往往包含高度敏感信息，这引发了对训练此类 DocVQA 模型时隐私风险的关注。成员推断攻击这一重要隐私漏洞，使对手有可能确定某条记录是否属于模型的训练数据。在本文中，我们针对 DocVQA 模型引入了两种新颖的成员推断攻击。这两种攻击分别针对两种不同的对手场景：一种是白盒场景，即攻击者获得模型架构和参数的完整访问权限；另一种是黑盒场景，即仅可获取模型输出。值得注意的是，我们的攻击假设攻击者无法获取辅助数据集，这在实际操作中更为现实，但也更具挑战性。我们的无监督方法在多种 DocVQA 模型和数据集上均超越了现有最先进的成员推断攻击，显示其有效性，进而凸显了该领域的隐私风险。