面向注意力机制的混合光子-数字加速器

注意力机制 Transformer 的广泛采用和巨大的计算资源需求催生了对高效硬件加速器的需求。与数字型加速器不同，光子加速器因其高能效和超快处理速度而受到关注。然而，显著的信号转换开销限制了光子加速器的性能。本文提出 HyAtten，一种降低信号转换开销的光子注意力加速器。HyAtten 集成信号比较器，将信号分类为可被低分辨率转换器处理与否。HyAtten 采用低分辨率转换器处理所有低分辨率信号，从而提升光子计算的并行度。对于需要高分辨率转换的信号，HyAtten 采用数字电路代替信号转换器，以减少面积和延迟开销。与最先进的光子 Transformer 加速器相比，HyAtten 实现了 9.8 倍性能/面积和 2.2 倍能效/面积提升。