通过二值化实现高效多任务稠密预测
计算机视觉与模式识别
2024-05-24 v1
摘要
多任务稠密预测已成为计算机视觉中的关键领域，使能够同时处理多样且相互关联的像素级预测任务。然而，现有最先进（SoTA）模型的计算需求巨大，往往限制了其广泛部署。本文通过网络二值化来压缩资源密集型多任务稠密预测器，以解决这一挑战。具体而言，我们的目标是在保持甚至提升模型性能的同时，通过二值神经网络（Binary Neural Networks, BNNs）显著加速多任务稠密预测模型。为达成此目标，我们提出了 Binary Multi-task Dense Predictor（Bi-MTDP）及其若干变体，在这些变体中通过指定的二值化模块构建多任务稠密预测器。对该预测器的系统性分析揭示，二值化导致的性能下降主要源于严重的信息降解。为解决此问题，我们引入深度信息瓶颈层，以确保下游任务的表示满足前向传播中的高斯分布。此外，我们引入知识蒸馏机制，以纠正反向传播中信息流的方向。有趣的是，Bi-MTDP 的一个变体甚至超越了全精度（FP）多任务稠密预测 SoTA 模型，包括基于 CNN 的 ARTC 和基于 ViT 的 InvPT。这一结果表明，Bi-MTDP 不仅仅是性能与效率之间的简单权衡，而是源于多任务体系结构所带来的冗余信息流的收益。代码已公开于 https://github.com/42Shawn/BiMTDP。
引用
@article{arxiv.2405.14136,
title = {Efficient Multitask Dense Predictor via Binarization},
author = {Yuzhang Shang and Dan Xu and Gaowen Liu and Ramana Rao Kompella and Yan Yan},
journal= {arXiv preprint arXiv:2405.14136},
year = {2024}
}
备注
Accepted to CVPR'2024