多模态对齐中对手的拓扑特征
机器学习
2025-01-31 v1 人工智能
密码学与安全
摘要
多模态机器学习系统，特别是那些对齐文本和图像数据的 CLIP/BLIP 模型，日益普及，但仍易受到对手攻击。虽然已有大量研究针对单模态情境下的对抗鲁棒性，但针对多模态系统的防御策略仍属未探索领域。本工作研究在图像和文本嵌入之间产生的拓扑特征，表明对手攻击如何破坏其对齐，引发独特的特征。我们具体利用持久同调，并提出两种基于 Total Persistence 和多尺度核方法的 novel Topological-Contrastive losses 来分析由对手扰动引入的拓扑特征。我们观察到在对图像-文本对齐进行广泛攻击时，随着更多对手样本被引入数据集，所提出的拓扑损失呈现出单调变化模式。通过设计一种算法将这些特征反向传播到输入样本，我们能够将这些特征整合到最大均值偏差测试中，构建出一种 novel class of tests 利用拓扑特征实现更好的对手检测。
引用
@article{arxiv.2501.18006,
title = {Topological Signatures of Adversaries in Multimodal Alignments},
author = {Minh Vu and Geigh Zollicoffer and Huy Mai and Ben Nebgen and Boian Alexandrov and Manish Bhattarai},
journal= {arXiv preprint arXiv:2501.18006},
year = {2025}
}