分割任意模型在自动驾驶中实现零样本鲁棒性
计算机视觉与模式识别
2024-10-02 v2 人工智能
摘要
语义分割是自动驾驶中一项重要的感知任务，但面临对抗样本的风险。近年来，深度学习已逐渐从参数相对较少的卷积神经网络（CNN）模型过渡到参数庞大的基础模型。分割任意模型（SAM）是一种通用的图像分割框架，能够处理多种类型的图像，无需针对特定对象进行训练即可识别和分割图像中的任意对象。它是一个能够处理多样化下游任务的统一模型，包括语义分割、目标检测和跟踪。在自动驾驶的语义分割任务中，研究SAM的零样本对抗鲁棒性具有重要意义。因此，我们对SAM在无需额外训练条件下的鲁棒性进行了系统的实证研究。实验结果表明，即使无需额外训练，SAM在黑盒扰动和白盒对抗攻击下的零样本对抗鲁棒性也是可以接受的。本研究的发现具有启发性：庞大的模型参数和海量的训练数据导致了涌现现象，从而为对抗鲁棒性提供了保障。SAM是一种视觉基础模型，可被视为人工通用智能（AGI）流程的早期原型。在这样的流程中，统一模型能够处理多样化任务。因此，本研究不仅考察了视觉基础模型对安全自动驾驶的影响，也为发展可信赖的AGI提供了视角。代码地址：https://github.com/momo1986/robust_sam_iv。
引用
@article{arxiv.2408.09839,
title = {Segment-Anything Models Achieve Zero-shot Robustness in Autonomous Driving},
author = {Jun Yan and Pengyu Wang and Danni Wang and Weiquan Huang and Daniel Watzenig and Huilin Yin},
journal= {arXiv preprint arXiv:2408.09839},
year = {2024}
}
备注
Accepted to IAVVC 2024