余弦相似度损失的隐藏陷阱
泛函分析
2024-06-25 v1
摘要
我们指出，在两种尚未充分探索的情境下，两个点之间余弦相似度的梯度会趋于零：(1) 当某个点具有较大模值时；(2) 当两个点位于潜在空间的相对端点时。令人反感的是，我们证明了优化两个点之间的余弦相似度会导致它们的模值增大。因此，情况(1)在实际中不可避免。随后我们观察到，这些推导具有极其普遍的适用性——它们适用于各种深度学习架构以及许多标准自监督学习（self-supervised learning, SSL）损失函数。这引导我们提出切向初始化（cut-initialization）：一种简单的网络初始化方法，有助于所有研究过的SSL方法更快地收敛。
引用
@article{arxiv.2406.16467,
title = {Almost Auerbach, Markushevich and Schauder bases in Hilbert and Banach spaces},
author = {Anton Tselishchev},
journal= {arXiv preprint arXiv:2406.16467},
year = {2024}
}
备注
9 pages