神经网络具有异质性：相位更为重要
机器学习
2021-11-30 v2
摘要
我们从波动光学的视角出发，在复值和实值神经网络中发现了一种异质性，表明权重矩阵中的相位比其振幅对应部分扮演着更为重要的角色。在复值神经网络中，我们展示了在不同类型的剪枝中，仅保留相位信息的权重矩阵能达到最佳准确率，并且这一结论在不同深度和宽度的设置下均具有鲁棒性。该结论可以推广到实值神经网络，其中符号取代了相位的位置。这些启发性的发现丰富了网络剪枝和二值化计算的技术。
引用
@article{arxiv.2111.02014,
title = {Neural network is heterogeneous: Phase matters more},
author = {Yuqi Nie and Hui Yuan},
journal= {arXiv preprint arXiv:2111.02014},
year = {2021}
}