单指数模型损失景观中的凸波域:面对强 adversarial 噪声的鲁棒恢复
计算与语言
2026-05-29 v1 计算机视觉与模式识别
摘要
我们研究在含重尾噪声及恶意捕获的协方差和响应的前提下,对高斯单指数模型 (SIM) 的鲁棒学习问题。先前工作如线性回归 (Pensia 等, JASA 2024)、严格单调链接函数 (Awasthi 等, NeurIPS 2022) 及相位检索 (Buna 与 Rebeschini, AISTATS 2025) 所考察的情形,均不适用于诸如 GELU、Swish 等通用非单调链接函数——这些函数自然作为现代门控神经网络中标量原语出现。我们填补了这一空白,给出第一个在一般非单调链接函数下实现近线性样本和时间复杂度的鲁棒恢复算法,从而为广泛 family 的非线性 SIM 提出首个鲁棒恢复保证——此前尚无任何保证可覆盖。我们的核心贡献在于对高斯平方损失景观在恶意污染下结构性理解。关键在于,我们证明对于广泛的非线性非单调 SIM 类,存在一个与真实值无关维度、常数半径的凸波域,可通过鲁棒谱初始化高效到达,即便在恶意污染下亦然。先前方法未能同时保证这两者,或在恶意污染下崩溃,或无法处理通用非单调链接函数。基于这些结构洞察,我们构建原则性的温暖启动,使鲁棒梯度下降可在 时间内收敛至最终估计误差为 ,其中 为污染比例。
引用
@article{arxiv.2605.29496,
title = {On Asymmetric Optimization of Reasoning and Perception in Vision-Language Model Post-Training},
author = {Xueqing Wu and Yu-Chi Lin and Kai-Wei Chang and Nanyun Peng},
journal= {arXiv preprint arXiv:2605.29496},
year = {2026}
}
备注
Project: https://asymmetric-vlm-post-training.github.io/