图值1-bit脉冲：当图对比学习遇见脉冲神经网络
神经与进化计算
2024-02-20 v2 人工智能
机器学习
摘要
尽管对比自监督学习已成为图神经网络事实上的学习范式，但对更高任务精度的追求需要更大的隐藏维度来学习信息丰富且具判别力的全精度表示，这引发了关于计算、内存占用及能耗负担（被严重忽视）对实际应用影响的担忧。本工作探索了将脉冲神经网络（SNNs）用于图对比学习（GCL）这一有前景的方向，其利用稀疏与二值特性学习更具生物合理性与紧凑性的表示。我们提出SpikeGCL，一种新颖的GCL框架，用于学习图的二值化1-bit表示，在效率与性能间取得平衡权衡。我们提供理论保证以证明SpikeGCL具有与其全精度对应方法相当的表达能力。实验结果表明，在近乎32倍表示存储压缩下，SpikeGCL在多个图基准上可与众多先进的监督与自监督方法媲美甚至更优。
引用
@article{arxiv.2305.19306,
title = {A Graph is Worth 1-bit Spikes: When Graph Contrastive Learning Meets Spiking Neural Networks},
author = {Jintang Li and Huizhe Zhang and Ruofan Wu and Zulun Zhu and Baokun Wang and Changhua Meng and Zibin Zheng and Liang Chen},
journal= {arXiv preprint arXiv:2305.19306},
year = {2024}
}
备注
Accepted to ICLR 2024; Code is available at https://github.com/EdisonLeeeee/SpikeGCL