关于旋转傅里叶变换之间点积的一篇短札
神经元与认知
2020-07-28 v1 机器学习
摘要
空间语义指针(SSPs)近来已成为表示和变换连续空间的有力工具,在认知建模和深度学习中具有众多应用。SSPs 的基础在于表示 n 维空间中不同点的向量之间的“相似性”概念——通常是傅里叶域中具有旋转单位长度复系数的向量之间的点积或余弦相似性。此前有猜想认为该相似性度量是欧氏距离的高斯函数。与该猜想相反,我们推导出一个将空间位移与相似性关联起来的简单三角公式,并证明在傅里叶系数为均匀独立同分布的情况下,期望相似性为归一化 sinc 函数的乘积:,其中 为两个 n 维点之间的空间位移。这建立了空间与 SSPs 相似性之间的直接联系,进而有助于强化用于构建操作空间结构的神经网络的有用数学框架。
引用
@article{arxiv.2007.13462,
title = {A short letter on the dot product between rotated Fourier transforms},
author = {Aaron R. Voelker},
journal= {arXiv preprint arXiv:2007.13462},
year = {2020}
}
备注
4 pages, 3 figures