ComPtr：通过简洁而通用的互补Transformer迈向多样化双源密集预测任务
计算机视觉与模式识别
2025-06-10 v2
摘要
深度学习（DL）推动了密集预测领域的发展，同时逐步消解了不同任务间的固有壁垒。然而，大多数现有工作聚焦于为特定任务设计架构和构建视觉线索，忽视了DL范式所引入的潜在统一性。本文尝试构建一种新颖的互补Transformer（lementary ansformer，简称），用于多样化双源密集预测任务。具体而言，与现有过度专用于单一任务或任务子集的方法不同，ComPtr从更通用的双源密集预测概念出发。基于对所依赖信息互补性的基本认识，我们提出一致性增强与差异感知组件，ComPtr借此可分别抽取和收集来自不同图像源的重要视觉语义线索以服务于多样任务。ComPtr平等对待不同输入，并在Transformer之上以序列到序列的形式构建高效的密集交互模型。这种任务通用设计为实现可同时处理各类双源信息的统一模型提供了平滑基础。在若干代表性视觉任务（即遥感变化检测、RGB-T人群计数、RGB-D/T显著性目标检测以及RGB-D语义分割）的广泛实验中，所提方法一致取得优异性能。代码将发布于https://github.com/lartpang/ComPtr。
引用
@article{arxiv.2307.12349,
title = {ComPtr: Towards Diverse Bi-source Dense Prediction Tasks via A Simple yet General Complementary Transformer},
author = {Youwei Pang and Xiaoqi Zhao and Lihe Zhang and Huchuan Lu},
journal= {arXiv preprint arXiv:2307.12349},
year = {2025}
}