基于混合随机平滑的异构扰动下鲁棒性认证
机器学习
2026-05-14 v1
摘要
随机平滑提供强大的、模型无关的鲁棒性认证，但现有保证仅限于单一模态，孤立对待连续和离散输入。这种限制在多模态模型中尤为关键，因为决策依赖于跨模态语义，且对手手可以联合扰动异构输入，使得单模态证书不足。我们引入了一个用于混合离散-连续输入的统一随机平滑框架，基于可解析的 Neyman-Pearson 形式化的联合最坏情况问题。通过分析因子化离散和连续噪声所诱导的联合似然排序，我们的方法得到一个闭形式的一维证书，严格地概括了高斯 (仅图像) 和离散 (仅文本) 随机平滑。我们在多模态安全过滤器上验证了该框架，提供了据我们所知，首个针对联合离散 token 和连续图像扰动的模型无关 Neyman-Pearson 证书，用于交互依赖的文本-图像安全过滤。
引用
@article{arxiv.2605.12876,
title = {Certified Robustness under Heterogeneous Perturbations via Hybrid Randomized Smoothing},
author = {Blaise Delattre and Hengyu Wu and Paul Caillon and Wei Yang Bryan Lim and Yang Cao},
journal= {arXiv preprint arXiv:2605.12876},
year = {2026}
}
备注
ICML 2026. Code: https://github.com/tdsai-lab/hybrid-randomized-smoothing