TRACER：面向稳健多模态微调的持续正则化
机器学习
2026-05-29 v1 人工智能
计算机视觉与模式识别
摘要
主流的预训练多模态模型微调策略常会导致外分布样本（out-of-distribution, OOD）的鲁棒性下降，已知为灾难性遗忘现象。本文构建了多模态对比微调的理论框架，得到闭式解并对每种策略进行几何分解。该框架表明，自蒸馏比其他正则化方法更有效地保留预训练模型的知识。我们的分析揭示了一个被大多数忽视的局限性：标准的指数移动平均（Exponential Moving Average, EMA）教师，在稳健微调中广泛使用，却存在崩溃问题。为此，我们证明加权移动平均（Weighted Moving Average, WMA）教师能在有限时间范围内维持持续的正则化力量，同时在任务子空间中实现无偏收敛，同时保持正交知识的保存。这些见解激发了**TRACER**（**T**rajectory-**R**obust **A**nchoring for **C**ontrastive **E**ncoder **R**egularization），其结合了对比学习与WMA引导的多视角蒸馏。对CLIP微调的大量实验表明，TRACER在三个主干架构上均实现了持续的OOD准确率和校准提升，综合消融实验确认TRACER既是原则方法，也对超参数选择具有鲁棒性。代码已公开于https://github.com/HesamAsad/TRACER。
引用
@article{arxiv.2605.29380,
title = {TRACER: Persistent Regularization for Robust Multimodal Finetuning},
author = {Hesam Asadollahzadeh and Feng Liu and Christopher Leckie and Sarah M. Erfani},
journal= {arXiv preprint arXiv:2605.29380},
year = {2026}
}
备注
ICML 2026