FADEC：基于FPGA通过软硬件协同设计加速视频深度估计
摘要
从视频进行三维重建因机器人与无人机自主驾驶导航、增强现实(AR)及三维建模等各类应用而日益流行。该任务常结合传统图像/视频处理算法与深度神经网络(DNN)。尽管近期深度学习的发展提升了任务精度，但涉及的大量计算导致速度低且功耗高。虽有多种面向DNN的专用硬件加速器，但要加速在传统图像/视频处理算法与DNN之间交替的应用整体流程并不容易。因此，此类复杂应用在低功耗嵌入式环境中需要基于FPGA的端到端加速。本文提出一种面向DeepVideoMVS（一种基于DNN的三维重建深度估计方法）的新型FPGA加速器。我们采用软硬件协同设计，依据该方法固有特性恰当利用现代SoC FPGA中的异构组件，如可编程逻辑(PL)与CPU。由于部分操作不适合硬件实现，我们通过分析各操作的执行次数与存储访问模式，并综合考量硬件实现难易度与硬件预期加速程度，确定以软件实现的操作。硬件与软件实现在PL和CPU上并行执行以隐藏其执行延迟。所提加速器在Xilinx ZCU104板上利用开源高层次综合(HLS)工具NNgen开发。实验表明，该加速器在同一FPGA板上比纯软件实现快60.2倍，且精度下降极小。
引用
@article{arxiv.2212.00357,
title = {FADEC: FPGA-based Acceleration of Video Depth Estimation by HW/SW Co-design},
author = {Nobuho Hashimoto and Shinya Takamaeda-Yamazaki},
journal= {arXiv preprint arXiv:2212.00357},
year = {2022}
}
备注
9 pages, 8 figures, 3 tables, FPT 2022 (Full paper), Program: https://fpt22.hkust.edu.hk/program#tools, GitHub: https://github.com/casys-utokyo/fadec, Slides: https://speakerdeck.com/hashi0203/sw-co-design-fpt-2022-8082a83d-3167-461c-8560-60f77959a3d5, Movie: https://youtu.be/NFULXQeu6Vw, Profile: https://n-hassy.info