面向多层次特征融合的尺度均衡化
计算机视觉与模式识别
2024-02-05 v1
摘要
深度神经网络在各类计算机视觉领域，尤其是在语义分割任务中，展现出了卓越的性能。其成功通常归因于多层次特征融合，这使得网络能够同时理解图像中的全局和局部信息。然而，我们发现来自并行分支的多层次特征处于不同的尺度上。这种尺度不均衡是一个普遍存在且不受欢迎的缺陷，它会导致有害的梯度下降，从而降低语义分割的性能。我们发现尺度不均衡是由双线性上采样引起的，这一点得到了理论和实证证据的支持。基于这一观察，我们提出注入尺度均衡器，以在双线性上采样后实现多层次特征间的尺度均衡。我们提出的尺度均衡器易于实现，适用于任何架构，无需超参数，实现过程无需额外计算成本，并能保证在任何数据集上实现尺度均衡。实验表明，采用尺度均衡器在包括 ADE20K、PASCAL VOC 2012 和 Cityscapes 在内的各种目标数据集上，以及在包括 UPerHead、PSPHead、ASPPHead、SepASPPHead 和 FCNHead 在内的各种解码器选择上，均能持续提升 mIoU 指标。
引用
@article{arxiv.2402.01149,
title = {Scale Equalization for Multi-Level Feature Fusion},
author = {Bum Jun Kim and Sang Woo Kim},
journal= {arXiv preprint arXiv:2402.01149},
year = {2024}
}
备注
10 pages, 3 figures