实时分割网络应具备延迟感知能力
计算机视觉与模式识别
2022-04-21 v2
摘要
随着场景分割系统达到视觉上准确的结果，许多近期论文聚焦于使这些网络架构更快、更小和更高效。特别地，研究通常旨在设计“实时”系统。在实现自动驾驶车辆和机器人的实时视频理解背景下，达成该目标尤为相关。在本文中，我们认为常用的平均交并比（mIoU）性能指标并未完全捕获当这些网络在“实时”下运行时估计其真实性能所需的信息。我们提出了分割任务中目标的改变，及其关联的度量，以如下方式封装这一缺失信息：我们提议预测未来的输出分割图，该图将与网络完成处理时的未来输入帧相匹配。我们引入了关联的延迟感知度量，由此可确定排名。我们在不同硬件上对若干近期网络进行了延迟计时实验，并评估了这些网络在我们所提任务上的性能。我们通过对场景分割网络使用多帧输入并增加初始卷积层的容量，提出了改进以使其更好地执行我们的任务。
引用
@article{arxiv.2004.02574,
title = {Real-Time Segmentation Networks should be Latency Aware},
author = {Evann Courdier and Francois Fleuret},
journal= {arXiv preprint arXiv:2004.02574},
year = {2022}
}