SVMax：一种特征嵌入正则化器
计算机视觉与模式识别
2021-03-05 v1 机器学习
摘要
神经网络正则化器（例如权重衰减）通过显式惩罚网络的复杂性来提升性能。在本文中，我们惩罚次优的网络激活——特征嵌入——进而隐式地正则化网络权重。我们提出奇异值最大化（SVMax）以学习更均匀的特征嵌入。SVMax 正则化器支持监督和无监督学习。我们的公式缓解了模型崩溃并允许更大的学习率。我们使用检索网络和生成对抗网络（GAN）评估 SVMax 正则化器。我们利用合成高斯混合数据集在无监督设定下评估 SVMax。对于检索网络，SVMax 在各种排序损失下取得了显著的改进幅度。代码见 https://bit.ly/3jNkgDt
引用
@article{arxiv.2103.02770,
title = {SVMax: A Feature Embedding Regularizer},
author = {Ahmed Taha and Alex Hanson and Abhinav Shrivastava and Larry Davis},
journal= {arXiv preprint arXiv:2103.02770},
year = {2021}
}