面向IoVT系统的任务导向实时视觉推理：神经网络与边缘部署协同设计框架
计算机视觉与模式识别
2024-11-05 v1 人工智能
摘要
随着图像数据量的增长，物联网视频系统（IoVT）中的数据导向云计算遇到了延迟问题。面向任务的边缘计算通过将数据分析转移到边缘来解决这一问题。然而，边缘设备有限的计算能力对执行视觉任务构成了挑战。现有方法难以平衡高模型性能与低资源消耗；轻量级神经网络往往表现不佳，而通过神经架构搜索（NAS）设计的设备特定模型无法适应异构设备。针对这些问题，我们提出了一种新颖的协同设计框架，用于优化推理过程中的神经网络架构和部署策略，以实现高吞吐量。具体而言，它实现了基于重参数化的动态模型结构，结合基于Roofline模型的模型划分策略以增强边缘设备的计算性能。我们还采用多目标协同优化方法来平衡吞吐量和准确率。此外，我们推导了划分模型的数学一致性和收敛性。实验结果表明，在吞吐量方面取得了显著提升（MNIST上12.05%，ImageNet上18.83%），并且分类准确率优于基线算法。我们的方法在不同设备上始终表现出稳定的性能，强调了其适应性。模拟实验进一步证实了其在IoVT系统中小物体高精度实时检测方面的有效性。
引用
@article{arxiv.2411.00838,
title = {Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment},
author = {Jiaqi Wu and Simin Chen and Zehua Wang and Wei Chen and Zijian Tian and F. Richard Yu and Victor C. M. Leung},
journal= {arXiv preprint arXiv:2411.00838},
year = {2024}
}