PAT：用于长尾分割的像素级自适应训练
计算机视觉与模式识别
2024-10-22 v4 人工智能
摘要
除了类别频率之外，我们认识到各类特定预测之间的类间关系以及标签掩码的不平衡对长尾分割学习的影响。为了应对这些挑战，我们提出了一种专为长尾分割量身定制的创新像素级自适应训练（PAT）技术。PAT具有两个关键特征：1）类间梯度幅度均匀化，以及2）像素级类特定损失自适应（PCLA）。首先，类间梯度幅度均匀化通过确保对模型更新中类间影响的同等考虑，有助于缓解标签掩码之间的不平衡。其次，PCLA通过鼓励学习预测置信度低的类别并防止遗忘高置信度的类别，来解决长尾分布中稀有类别以及先前训练阶段不准确预测的有害影响。这种组合方法促进了鲁棒学习，同时防止模型遗忘先前学到的知识。PAT表现出显著的性能提升，在NyU数据集上超越了当前SOTA 2.2%。此外，它在三个流行数据集（即OxfordPetIII、CityScape和NYU）上的结果表明，整体像素级准确率提高了2.85%，交并比提高了2.07%，并且在检测稀有类别方面，与Balance Logits Variation相比有0.39%的显著下降。
引用
@article{arxiv.2404.05393,
title = {PAT: Pixel-wise Adaptive Training for Long-tailed Segmentation},
author = {Khoi Do and Duong Nguyen and Nguyen H. Tran and Viet Dung Nguyen},
journal= {arXiv preprint arXiv:2404.05393},
year = {2024}
}