面向多模态与多任务密集图像预测的通道交换网络
计算机视觉与模式识别
2022-10-05 v2
摘要
多模态融合与多任务学习是机器学习中两个重要课题。尽管已取得丰硕进展，现有方法对同一个挑战仍显脆弱——在整合跨模态（或跨任务）的共性信息的同时保留各模态（或各任务）特有模式，始终是一个两难问题。此外，尽管二者实则密切相关，多模态融合与多任务学习此前鲜少在同一方法框架下被探讨。本文提出通道交换网络（Channel-Exchanging-Network, CEN），其具有自适应、无参数的特点，且重要的是，可应用于多模态与多任务密集图像预测。CEN 的核心在于不同模态子网络间自适应地交换通道。具体而言，通道交换过程由个体通道重要性自我引导，该重要性通过训练期间批归一化（Batch-Normalization, BN）缩放因子的幅值度量。针对密集图像预测应用，CEN 的有效性通过四种场景验证：多模态融合、循环多模态融合、多任务学习以及多模态多任务学习。基于 RGB-D 数据的语义分割与多域输入的图像翻译的大量实验，证实了 CEN 相较最先进（state-of-the-art）方法的优越性。我们还进行了详尽的消融实验，展示了所提各组件的优势。代码见 https://github.com/yikaiw/CEN。
引用
@article{arxiv.2112.02252,
title = {Channel Exchanging Networks for Multimodal and Multitask Dense Image Prediction},
author = {Yikai Wang and Fuchun Sun and Wenbing Huang and Fengxiang He and Dacheng Tao},
journal= {arXiv preprint arXiv:2112.02252},
year = {2022}
}
备注
Accepted by TPAMI 2022. Code is available at https://github.com/yikaiw/CEN. arXiv admin note: text overlap with arXiv:2011.05005