NSFlow：面向神经符号AI的端到端FPGA框架及可扩展数据流架构
硬件体系结构
2025-04-30 v2 人工智能
机器学习
性能
摘要
神经符号AI（NSAI）是一种将神经网络与符号推理集成，以提升AI系统透明度、推理能力和数据效率的新兴范式。尽管算法层面的NSAI系统因在推理任务和人机协作场景中的卓越表现而逐渐受到关注，但在现有硬件（如CPU、GPU、TPU）上执行NSAI任务仍面临挑战，这些硬件的异构计算内核、高内存密集度以及独特的内存访问模式。此外，当前的NSAI算法在操作类型和规模上存在显著差异，难以与现有的机器学习加速器兼容。这些挑战凸显了对针对NSAI工作负载构建的灵活且可扩展加速框架的需求。本文提出了NSFlow，一个基于FPGA的加速框架，旨在实现NSAI系统上的高效、可扩展和通用性。NSFlow包含识别工作负载数据依赖关系并生成优化数据流架构的设计架构生成器，以及具备灵活计算单元、可重组内存和混合精度能力的可配置数组。针对NSAI工作负载进行评估，NSFlow相较于Jetson TX2实现31倍加速，相较于GPU超过2倍，相较于类TPU的脉动阵列实现8倍加速，相较于Xilinx DPU实现超过3倍。NSFlow还展示了增强的可扩展性，当符号化工作负载规模扩大150倍时，仅导致4倍的运行时增加。据我们所知，NSFlow是首个实现实时通用NSAI算法加速的框架，为下一代认知系统提供了有前景的解决方案。
引用
@article{arxiv.2504.19323,
title = {NSFlow: An End-to-End FPGA Framework with Scalable Dataflow Architecture for Neuro-Symbolic AI},
author = {Hanchen Yang and Zishen Wan and Ritik Raj and Joongun Park and Ziwei Li and Ananda Samajdar and Arijit Raychowdhury and Tushar Krishna},
journal= {arXiv preprint arXiv:2504.19323},
year = {2025}
}
备注
2025 IEEE/ACM Design Automation Conference (DAC)