对齐诅咒：跨模态越狱攻击在 Omni-Model 中的迁移
机器学习
2026-02-04 v1 人工智能
声音
摘要
近期端到端训练的 Omni-模型显著提升了多模态理解能力。与此同时，安全红队测试已扩展到音频范畴，涵盖音频式越狱攻击。然而，在文本与音频越狱攻击之间扮演重要桥梁的工作仍鲜有探讨。本文聚焦于从文本迁移到音频的越狱攻击，基于文本与音频语义相似性以及文本越狱方法的成熟度。我们首先分析模态对齐与跨模态越狱迁移之间的联系，表明强对齐不当会将文本漏洞不慎传递至音频模态，我们称之为对齐诅咒。依据此分析，我们对文本越狱、文本迁移音频越狱以及现有音频式越狱在最新 Omni-模型上进行实证评估。结果表明，文本迁移音频越狱性能相当于甚至优于音频式越狱，建立了简单而强大的基线，用于未来音频红队测试。我们进一步展示了强大的跨模型迁移性，表明即使在更严格的仅音频访问威胁模型下，文本迁移音频攻击依然有效。
引用
@article{arxiv.2602.02557,
title = {The Alignment Curse: Cross-Modality Jailbreak Transfer in Omni-Models},
author = {Yupeng Chen and Junchi Yu and Aoxi Liu and Philip Torr and Adel Bibi},
journal= {arXiv preprint arXiv:2602.02557},
year = {2026}
}