ChatGPT 邂逅变形攻击检测：基于多模态大语言模型与通用视觉模型的零样本 MAD
计算机视觉与模式识别
2025-03-17 v1 人工智能
机器学习
摘要
人脸识别系统（FRS）越来越容易受到人脸变形攻击的威胁，促使了变形攻击检测（MAD）算法的发展。然而，MAD 的一个关键挑战在于其对未见数据的泛化能力有限，且缺乏可解释性——这对于注册站和自动边境控制系统等实际应用环境至关重要。认识到大多数现有 MAD 算法依赖于监督学习范式，本研究探索了一种利用大语言模型（LLMs）进行零样本学习的 MAD 新方法。我们提出了两类零样本 MAD 算法：一类利用通用视觉模型，另一类利用多模态 LLMs。对于通用视觉模型，我们通过计算独立支持集的平均支持嵌入来解决 MAD 任务，且不使用变形图像。对于基于 LLM 的方法，我们采用最先进的 GPT-4 Turbo API 并配以精心设计的提示词。为了评估零样本 MAD 的可行性及所提方法的有效性，我们构建了一个包含各种未见变形算法的打印扫描变形数据集，以模拟具有挑战性的实际应用场景。实验结果表明了显著的检测准确率，验证了零样本学习在 MAD 任务中的适用性。此外，我们对基于 LLM 的 MAD 的研究表明，诸如 ChatGPT 之类的多模态 LLMs 对未训练的 MAD 任务表现出卓越的泛化能力。此外，它们具有提供解释和指导的独特能力，可以增强实际应用中终端用户的透明度和可用性。
引用
@article{arxiv.2503.10937,
title = {ChatGPT Encounters Morphing Attack Detection: Zero-Shot MAD with Multi-Modal Large Language Models and General Vision Models},
author = {Haoyu Zhang and Raghavendra Ramachandra and Kiran Raja and Christoph Busch},
journal= {arXiv preprint arXiv:2503.10937},
year = {2025}
}