PEPR：基于特权事件的预测正则化用于域泛化
计算机视觉与模式识别
2026-04-21 v2
摘要
深度神经网络在视觉感知任务中对域迁移极其敏感，这构成了在与训练数据不同的实际部署环境中面临的关键挑战。为此，我们提出一种基于学习使用特权信息（LUPI）范式的跨模态框架，用于训练鲁棒的单模态 RGB 模型。我们将事件相机作为特权信息来源在训练期间可用。两种模态具有互补特征：RGB 流在语义密度上优越但依赖域，而事件流稀疏但更具域不变性。直接特征对齐因而次优，因为它迫使 RGB 编码器模仿稀疏事件表征，导致语义细节丢失。为克服此问题，我们引入特权事件预测正则化（PEPR），将 LUPI 重新建模为共享潜在空间中的预测问题。不强制直接跨模态对齐，而是通过 PEPR 训练 RGB 编码器以预测事件基准潜在特征，在不牺牲语义丰富性的前提下提炼鲁棒性。最终得到的独立 RGB 模型在日夜及其他域迁移情形下均表现出更强鲁棒性，在目标检测和语义分割任务上均优于基于对齐的基线方法。
引用
@article{arxiv.2602.04583,
title = {PEPR: Privileged Event-based Predictive Regularization for Domain Generalization},
author = {Gabriele Magrini and Federico Becattini and Niccolò Biondi and Pietro Pala},
journal= {arXiv preprint arXiv:2602.04583},
year = {2026}
}