FTPFusion：基于时间扰动的频率感知红外与可见光视频融合
计算机视觉与模式识别
2026-04-03 v1
摘要
红外与可见光视频融合在智能监控和低光照监测中起着关键作用。然而，在保持空间细节的同时维持时间稳定性仍然是一个基本挑战。现有方法要么专注于帧级增强，时间建模能力有限，要么依赖繁重的时空聚合，这通常会牺牲高频细节。在本文中，我们提出了FTPFusion，一种基于时间扰动和稀疏跨模态交互的频率感知红外与可见光视频融合方法。具体来说，FTPFusion将特征表示分解为高频和低频分量以进行协同建模。高频分支执行稀疏的跨模态时空交互，以捕获与运动相关的上下文和互补细节。低频分支引入了一种时间扰动策略，以增强对复杂视频变化（如闪烁、抖动和局部未对齐）的鲁棒性。此外，我们设计了一种偏移感知的时间一致性约束，以在时间扰动下显式稳定跨帧表示。在多个公开基准上的大量实验表明，FTPFusion在空间保真度和时间一致性方面的多个指标上持续优于最先进的方法。源代码将在 https://github.com/ixilai/FTPFusion 提供。
引用
@article{arxiv.2604.01900,
title = {FTPFusion: Frequency-Aware Infrared and Visible Video Fusion with Temporal Perturbation},
author = {Xilai Li and Chusheng Fang and Xiaosong Li},
journal= {arXiv preprint arXiv:2604.01900},
year = {2026}
}