ModalImmune: 基于自毁训练的免疫驱动式遗忘
机器学习
2026-04-07 v3 计算与语言
多媒体
摘要
多模态系统在部署时可能面临部分或完全丢失输入通道的风险，这会削弱其在实际环境中的可靠性。本文提出 ModalImmune，一种训练框架，通过有意识且可控地在训练期间使选定模态信息发生崩溃，从而强制模型学习对破坏性模态影响具有免疫性的联合表征。该框架结合了光谱自适应崩溃正则化器、面向信息增益的控制器用于精准干预、曲率感知的梯度遮蔽以稳定破坏性更新，以及经认证的 Neumann-truncated 超梯度程序用于自动元参数适应。在标准多模态基准测试上的经验评估表明，ModalImmune 在免疫模态丢失和损坏方面取得显著改进，同时保持了收敛稳定性和重构能力。
引用
@article{arxiv.2602.16197,
title = {ModalImmune: Immunity Driven Unlearning via Self Destructive Training},
author = {Rong Fu and WeiZhi Tang and Ziming Wang and Jia Yee Tan and Zijian Zhang and Zhaolu Kang and Muge Qi and Shuning Zhang and Simon Fong},
journal= {arXiv preprint arXiv:2602.16197},
year = {2026}
}
备注
24 pages, 8 figures