因子分解器中噪声在解缠分布表示中的作用
机器学习
2024-12-03 v1 人工智能
摘要
为了高效地将高维分布表示解缠到具体原子向量中，可以利用向量符号架构（Vector-Symbolic Architecture，VSA）的计算叠加能力。然而，这些因子分解器会遭遇限制循环现象。在迭代解码期间应用噪声是解决此问题的一种机制。本文探讨了通过仅在VSA的重构码book初始化时应用噪声来进一步放宽噪声需求的方法。虽然在迭代中需要噪声会使类似内存计算系统的实现成为一种自然的选择，但初始化噪声的充分性允许数字硬件同样不可或缺。这拓宽了因子分解器的实现可能性。我们的研究发现，随着因子数量从2增加到4，最佳性能从初始化噪声转向迭代噪声，而两种噪声方式都使操作容量至少提高了50倍。我们的代码可在 https://github.com/IBM/in-memory-factorizer 获取。
引用
@article{arxiv.2412.00354,
title = {On the Role of Noise in Factorizers for Disentangling Distributed Representations},
author = {Geethan Karunaratne and Michael Hersche and Abu Sebastian and Abbas Rahimi},
journal= {arXiv preprint arXiv:2412.00354},
year = {2024}
}
备注
Published at Second Workshop on Machine Learning with New Compute Paradigms at 38th NeurIPS 2024 (MLNCP 2024)