通过神经崩溃理解不平衡语义分割
计算机视觉与模式识别
2023-01-04 v1 机器学习
摘要
最近的一项研究揭示了分类任务在训练终期出现的所谓神经崩溃现象：类内特征均值与分类器权重向量收敛至单纯形等角紧框架的顶点。本文中，我们探究语义分割中最后一层特征中心与分类器的相应结构。基于实证与理论分析，我们指出语义分割天然带来类间上下文关联与不平衡分布，这破坏了神经崩溃在特征中心与分类器上等角且最大间隔分离的结构。然而，此种对称结构有益于少数类的判别。为保留这些优势，我们引入作用于特征中心的正则化项，鼓励网络在不平衡语义分割中学习更贴近该理想结构的特征。实验结果表明，我们的方法在2D与3D语义分割基准上均能带来显著提升。此外，我们的方法在ScanNet200测试排行榜上排名第1并创下新高（+6.8% mIoU）。代码将发布于 https://github.com/dvlab-research/Imbalanced-Learning。
引用
@article{arxiv.2301.01100,
title = {Understanding Imbalanced Semantic Segmentation Through Neural Collapse},
author = {Zhisheng Zhong and Jiequan Cui and Yibo Yang and Xiaoyang Wu and Xiaojuan Qi and Xiangyu Zhang and Jiaya Jia},
journal= {arXiv preprint arXiv:2301.01100},
year = {2023}
}
备注
Technical Report