基于物料提示的端到端 hyperspectral 目标拆分
计算机视觉与模式识别
2026-05-21 v1
摘要
hyperspectral 图像编码丰富的物料属性，可在外观模糊、光照变化和背景杂乱情况下提高跟踪鲁棒性。然而，由于 hyperspectral 视频数据的可得性有限，许多现有方法通过空间或通道融合策略改编预训练的RGB跟踪器，大体上忽略了 hyperspectral 图像中固有的物料信息。此外，少数物料感知方法通常依赖于与跟踪目标解耦的外部光谱拆分管道，限制了物料表示对目标定位的有效优化。为解决这些限制，我们将 hyperspectral 目标跟踪 formulation 为物料分解和目标定位的联合优化问题，通过加权以目标为导向的拆分损失将物料表示与定位准确性耦合。具体而言，我们提出了用于深度学习的光谱拆分的物料表示分解模块，采用自适应频率分解。基于分解后的物料表示，我们进一步引入了双分支小波增强的物料提示模块，通过频域中的高效空间-物料相互作用学习低频和高频物料提示。该框架具有模型无关性，可无缝推广到不同的拆分主干。广泛的实验在标准 hyperspectral 跟踪基准上表明实现了最先进的性能，验证了所提出的端到端物料感知跟踪框架的有效性。代码可在 https://github.com/han030927/E2EMPT 查阅。
引用
@article{arxiv.2605.20569,
title = {End-to-End Unmixing with Material Prompts for Hyperspectral Object Tracking},
author = {Xu Han and Mohammad Aminul Islam and Lei Wang and Zekun Long and Guanmanyi Fu and Wangshu Cai and Kuldip K. Paliwal and Jun Zhou},
journal= {arXiv preprint arXiv:2605.20569},
year = {2026}
}