HadamRNN：基于哈达德矩阵的二进制稀疏三值正交循环神经网络
机器学习
2025-05-07 v4 人工智能
摘要
二进制稀疏三值权重在神经网络中可实现更快的计算和更轻的存储表示，便于在计算资源有限的边缘设备上部署。然而，传统循环神经网络对循环权重的变化极为敏感，使得权重的二值化和三值化固有地具有挑战性。迄今为止，尚无方法成功实现了传统循环神经网络权重的二值化或三值化。我们提出一种新方法，利用哈达德矩阵的特性对一部分二进制稀疏三值正交矩阵进行参数化，从而实现对正交循环神经网络（ORNN）的训练，有效构成一种特定类的二进制稀疏三值传统循环神经网络。所得结果ORNN称为 HadamRNN 和 Block-HadamRNN，分别在复制任务、排列MNIST任务、顺序MNIST任务、IMDB数据集、两个GLUE基准以及两个物联网基准上进行评估。尽管进行了二值化或稀疏三值化，这些循环神经网络的性能仍可与最先进的全精度模型相当，凸显了本方法的有效性。值得注意的是，我们的方法是首个能够处理超过1000个时间步复制任务的具有二进制循环权重的解决方案。
引用
@article{arxiv.2502.00047,
title = {HadamRNN: Binary and Sparse Ternary Orthogonal RNNs},
author = {Armand Foucault and Franck Mamalet and François Malgouyres},
journal= {arXiv preprint arXiv:2502.00047},
year = {2025}
}