BridgeNet：通过桥接特征实现多任务密集预测的全面有效特征交互
计算机视觉与模式识别
2024-11-26 v2
摘要
多任务密集预测旨在统一网络中同时处理多个像素级预测任务，用于视觉场景理解。然而，当前方法的跨任务特征交互仍然存在表示层次不完整、特征参与者中语义区分性不足以及成对任务交互过程低效的问题。为了解决这些尚未充分探索的问题，我们提出了一种新颖的BridgeNet框架，该框架提取全面且具有判别性的中间桥接特征，并基于这些特征进行交互。具体而言，首先应用任务模式传播（TPP）模块，确保为后续交互准备好高度语义化的任务特定特征参与者；然后专门设计了桥接特征提取器（BFE），有选择地整合高层和低层表示以生成全面的桥接特征。最后，开发了任务特征精炼器（TFR），而不是进行繁重的成对跨任务交互，以高效地从桥接特征中获取指导并形成最终的任务预测。据我们所知，这是第一个考虑跨任务交互中特征参与者的完整性和质量的工作。在NYUD-v2、Cityscapes和PASCAL Context基准上进行了大量实验，优越的性能表明所提出的架构在同时促进不同密集预测任务方面是有效且强大的。
引用
@article{arxiv.2312.13514,
title = {BridgeNet: Comprehensive and Effective Feature Interactions via Bridge Feature for Multi-task Dense Predictions},
author = {Jingdong Zhang and Jiayuan Fan and Peng Ye and Bo Zhang and Hancheng Ye and Baopu Li and Yancheng Cai and Tao Chen},
journal= {arXiv preprint arXiv:2312.13514},
year = {2024}
}