von Mises-Fisher 损失：监督学习中嵌入几何的探索
机器学习
2021-12-07 v4 计算机视觉与模式识别
摘要
近期工作认为，利用 softmax 交叉熵的分类损失不仅优于固定集分类任务，还胜过了专为开集任务（包括少样本学习与检索）开发的损失。softmax 分类器已在不同的嵌入几何——欧氏、双曲与球面——下被研究，并有关于其中一种几何优越性的主张，但它们尚未在严格控制下被系统比较。我们对多种固定集分类与图像检索任务上 softmax 损失的嵌入几何进行了实证研究。球面损失中观察到的一个有趣性质促使我们提出一种基于 von Mises-Fisher 分布的概略分类器，并展示其与 SOTA 方法相当，同时产生了更好的开箱即用校准。我们就损失间的权衡及如何取舍提供了指导。
引用
@article{arxiv.2103.15718,
title = {von Mises-Fisher Loss: An Exploration of Embedding Geometries for Supervised Learning},
author = {Tyler R. Scott and Andrew C. Gallagher and Michael C. Mozer},
journal= {arXiv preprint arXiv:2103.15718},
year = {2021}
}
备注
ICCV 2021