用于视觉问答的双向对比分割学习
计算机视觉与模式识别
2023-12-12 v4 机器学习
摘要
基于多模态数据的视觉问答(VQA)促进了家用机器人与医疗诊断等现实应用。一个重大挑战是为各类客户端模型设计鲁棒的分布式学习框架，因保密考量需避免集中式数据收集。本工作旨在通过将一个多模态模型解耦为表示模块与对比模块，并利用模块间梯度共享与客户端间权重共享，来解决隐私保护 VQA 问题。为此，我们提出双向对比分割学习(BiCSL)，以在分散客户端的整体数据分布上训练全局多模态模型。我们采用对比损失，实现对分散模块更高效的自我监督学习。基于五种 SOTA VQA 模型在 VQA-v2 数据集上进行了充分实验，证明了所提方法的有效性。此外，我们检验了 BiCSL 对 VQA 双重密钥后门攻击的鲁棒性。结果表明，相较集中式学习方法，BiCSL 对多模态对抗攻击表现出更优的鲁棒性，为分散式多模态学习提供了可行途径。
引用
@article{arxiv.2208.11435,
title = {Bidirectional Contrastive Split Learning for Visual Question Answering},
author = {Yuwei Sun and Hideya Ochiai},
journal= {arXiv preprint arXiv:2208.11435},
year = {2023}
}
备注
Accepted for AAAI 2024