用于长尾识别的校准专家平衡乘积
计算机视觉与模式识别
2023-06-08 v3 机器学习
摘要
许多现实世界的识别问题具有长尾标签分布的特征。由于尾部类别的泛化能力有限，这些分布使得表示学习极具挑战性。如果测试分布与训练分布不同，例如均匀分布与长尾分布，则需要解决分布偏移问题。近期一系列工作提出学习多个多样化专家来解决此问题。集成多样性通过多种技术来鼓励，例如使不同专家专门处理头部和尾部类别。在本工作中，我们采用分析方法，将logit调整的概念扩展到集成，形成平衡专家乘积（Balanced Product of Experts, BalPoE）。BalPoE结合了具有不同测试时目标分布的一组专家，推广了此前的几种方法。我们展示了如何恰当地定义这些分布并组合专家以实现无偏预测，通过证明该集成在最小化平衡误差方面是Fisher一致的。我们的理论分析表明，我们的平衡集成需要校准的专家，我们在实践中使用mixup来实现这一点。我们进行了大量实验，我们的方法在三个长尾数据集CIFAR-100-LT、ImageNet-LT和iNaturalist-2018上取得了新的最先进（SOTA）结果。我们的代码可在 https://github.com/emasa/BalPoE-CalibratedLT 获取。
引用
@article{arxiv.2206.05260,
title = {Balanced Product of Calibrated Experts for Long-Tailed Recognition},
author = {Emanuel Sanchez Aimar and Arvi Jonnarth and Michael Felsberg and Marco Kuhlmann},
journal= {arXiv preprint arXiv:2206.05260},
year = {2023}
}
备注
Accepted at CVPR 2023, 19 pages