Otters：一种通过光学首次脉冲时间编码实现的节能脉冲Transformer
机器学习
2025-09-24 v1
摘要
脉冲神经网络（SNNs）有望实现高能效，特别是采用首次脉冲时间（TTFS）编码时，该编码通过每个神经元最多发放一个脉冲来最大化稀疏性。然而，这种能量优势往往未能实现，因为推理需要评估一个时间衰减函数，并随后与突触权重进行乘法运算。本文通过将物理硬件的“缺陷”——即光电器件中的自然信号衰减——重新用作 TTFS 的核心计算，来挑战这种高成本方法。我们制造了一种定制的氧化铟光电器件突触，展示了其自然物理衰减如何直接实现所需的时间函数。通过将器件的模拟输出视为突触权重和时间衰减的融合乘积，光电突触 TTFS（命名为 Otters）消除了这些昂贵的数字运算。为了在像 Transformer 这样的复杂架构中使用 Otters 范式，由于稀疏性问题，直接训练这些架构具有挑战性，我们引入了一种新颖的量化神经网络到 SNN 的转换算法。这种完整的硬件-软件协同设计使我们的模型在七个 GLUE 基准数据集上达到了最先进的准确率，并且基于使用商业 22nm 工艺的能量测量对计算、数据移动和内存访问成本的综合分析，证明了其能效比之前领先的 SNNs 提高了 1.77 倍。因此，我们的工作为节能高效的 SNNs 建立了一种新范式，将基础器件物理直接转化为强大的计算原语。所有代码和数据均已开源。
引用
@article{arxiv.2509.18968,
title = {Otters: An Energy-Efficient SpikingTransformer via Optical Time-to-First-Spike Encoding},
author = {Zhanglu Yan and Jiayi Mao and Qianhui Liu and Fanfan Li and Gang Pan and Tao Luo and Bowen Zhu and Weng-Fai Wong},
journal= {arXiv preprint arXiv:2509.18968},
year = {2025}
}