面向容错的多模态表示学习中的层级特定 Lipschitz 调制
机器学习
2026-03-27 v1 人工智能
摘要
现代多模态系统在工业和安全关键环境中必须在部分传感器故障、信号退化或跨模态不一致的情况下保持可靠性。本工作引入一个在数学上得到严格论证的框架，用于容错多模态表示学习，将自监督异常检测和纠错统一于单一架构中。基于对扰动传播的理论分析，我们推导出 Lipschitz 及 Jacobian 基准，用于确定神经算子是否放大或衰减局部故障。依据此理论，我们提出两阶段自监督训练方案：首先在干净数据上预训练多模态卷积自编码器以保留局部异常信号于潜在空间中，然后扩展其引入由密集层组成的可学习计算块用于纠错，以及用于异常识别的对比目标。此外，我们引入层级特定 Lipschitz 调制和梯度裁剪作为控制检测与纠错模块灵敏度的原则性机制。实验结果表明，在多模态故障数据集上，所提方法显著提升了异常检测准确率和重构效果。总体而言，该框架弥合了分析严格鲁棒性保证与实际容错多模态学习之间的鸿沟。
关键词
引用
@article{arxiv.2603.25103,
title = {Layer-Specific Lipschitz Modulation for Fault-Tolerant Multimodal Representation Learning},
author = {Diyar Altinses and Andreas Schwung},
journal= {arXiv preprint arXiv:2603.25103},
year = {2026}
}