异方差分类器的大规模扩展
机器学习
2023-01-31 v1 机器学习
摘要
异方差分类器通过学习预测 logits 上的多元高斯分布，已被证明在具有数百到数千类的图像分类问题上表现良好。然而，与标准分类器相比，它们引入了随类别数量线性增长的额外参数，这使其无法应用于更大规模的问题。此外，异方差分类器引入了一个必须调优的关键温度超参数。我们提出 HET-XL，一种异方差分类器，其与标准分类器相比的参数数量独立于类别数量。在大规模设置下，我们表明可以通过直接在训练数据上学习温度超参数，从而免去在留出集上调优的需要。在具有多达 40 亿图像和 3 万类的大型图像分类数据集上，我们的方法所需额外参数减少 14 倍，无需在留出集上调优温度，且始终优于基线异方差分类器。HET-XL 在多模态对比学习设置下改进了 ImageNet 零样本分类，该设置可视为一个 35 亿类分类问题。
引用
@article{arxiv.2301.12860,
title = {Massively Scaling Heteroscedastic Classifiers},
author = {Mark Collier and Rodolphe Jenatton and Basil Mustafa and Neil Houlsby and Jesse Berent and Effrosyni Kokiopoulou},
journal= {arXiv preprint arXiv:2301.12860},
year = {2023}
}
备注
Accepted to ICLR 2023