截断双曲分类器是超双曲分类器
机器学习
2022-05-17 v4 计算机视觉与模式识别
摘要
与欧几里得空间不同，双曲空间可以自然地嵌入层次结构。双曲神经网络（HNN）通过将欧几里得特征提升到双曲空间进行分类来利用这种表示能力，在具有已知语义层次结构的数据集上优于欧几里得神经网络（ENN）。然而，在没有清晰层次结构的标准基准测试中，HNN 的表现不如 ENN，这极大地限制了 HNN 在实际中的应用。我们的关键洞察是，HNN 较差的通用分类性能源于反向传播过程中的梯度消失，这是由其连接欧几里得特征与双曲分类器的混合架构引起的。我们提出了一种有效的解决方案，即在训练 HNN 时简单地截断欧几里得特征的幅度。我们的实验表明，截断后的 HNN 成为超双曲分类器：它们不仅在层次化数据上始终优于已经超越 ENN 的 HNN，而且在 MNIST、CIFAR10、CIFAR100 和 ImageNet 基准测试中与 ENN 性能相当，并具有更好的对抗鲁棒性和分布外检测能力。
引用
@article{arxiv.2107.11472,
title = {Clipped Hyperbolic Classifiers Are Super-Hyperbolic Classifiers},
author = {Yunhui Guo and Xudong Wang and Yubei Chen and Stella X. Yu},
journal= {arXiv preprint arXiv:2107.11472},
year = {2022}
}
备注
CVPR 2022