面向 ADS 的 DNN 基于 HSI 分割 FPGA SoC 优化：一种实用方法
计算机视觉与模式识别
2025-07-23 v1 人工智能
硬件体系结构
机器学习
图像与视频处理
摘要
在自动导航领域，利用 HSI 作为研究方向旨在提高基于视觉传感器的检测、跟踪和场景理解系统的准确性和鲁棒性。将高级计算机算法（如 DNN）与小型快照 HSI 相机结合，可增强这些系统的可靠性。HSI 克服了灰度和 RGB 成像在描绘目标物理属性方面的固有局限，尤其是关于光谱反射率和色素化问题。尽管 HSI 基于视觉开发取得了有希望的成果，但安全关键系统（如 ADS）对延迟、资源消耗和安全性提出了严格要求，推动了 ML 工作负载向边缘平台的转移。这涉及对软件/硬件协同设计方案的彻底研究，以在有限资源的计算平台上高效分配和优化任务。就推断而言，DNN 的过参数化特性为实时边缘部署带来了显著计算挑战。此外，对 HSI 所需的密集数据预处理（常被忽视）必须在内存布局和任务间通信方面进行精心管理，以实现 SoC 上高效集成管道设计。本文为面向 ADS 的 DNN 基于 HSI 分割处理器在 FPGA 基 SoC 上的实用协同设计，包括关键优化，如功能软件/硬件任务分配、硬件感知预处理、ML 模型压缩以及完整的流水线部署。所采用的压缩技术显著降低了所设计 DNN 的复杂度为原运算量的 24.34%，参数数为原来的 1.02%，在推断任务中实现了 2.86 倍的加速，同时未见察觉到的分割精度下降。
引用
@article{arxiv.2507.16556,
title = {Optimization of DNN-based HSI Segmentation FPGA-based SoC for ADS: A Practical Approach},
author = {Jon Gutiérrez-Zaballa and Koldo Basterretxea and Javier Echanobe},
journal= {arXiv preprint arXiv:2507.16556},
year = {2025}
}