基于 LMIINet 与 CGRA4ML 框架的 FPGA 实时语义分割用于自动驾驶
计算机视觉与模式识别
2025-10-28 v1 人工智能
摘要
语义分割已成为计算机视觉中的核心问题，在实时应用（如自动驾驶）中尤为重要。主要挑战在于，在计算和硬件约束下实现高精度。本研究提出一种基于轻量级 LMIINet 架构和面向机器学习的粗粒度可重构阵列（CGRA4ML）硬件框架的 FPGA 实时语义分割实现。该模型使用 8 位精度的量化感知训练（QAT）在 Cityscapes 数据集上进行训练，在保持高效定点计算的同时将内存占用降低四分之一。针对 CGRA4ML 的约束，应用必要的修改，包括简化跳跃连接、采用硬件友好操作（如深度可分离卷积和 1A-1 卷积），以及重新设计 Flatten Transformer 的部分结构。我们的实现在 ZCU104 FPGA 板上实现约 90% 的像素准确率和 45% 的平均交并比（mIoU），以 20 帧/秒（FPS）的实时速度运行，延迟为 50.1 毫秒。结果表明，CGRA4ML 具备灵活映射现代层和外部存储用于跳跃连接的能力，为在 FPGA 上实现高级语义分割网络提供了路径，能够在保持竞争性精度的同时超越传统 GPU 在功耗效率方面的优势。该项目代码已公开于 https://github.com/STAmirr/cgra4ml_semantic_segmentation。
引用
@article{arxiv.2510.22243,
title = {Real-Time Semantic Segmentation on FPGA for Autonomous Vehicles Using LMIINet with the CGRA4ML Framework},
author = {Amir Mohammad Khadem Hosseini and Sattar Mirzakuchaki},
journal= {arXiv preprint arXiv:2510.22243},
year = {2025}
}