TinyTracker：用于 gaze estimation 的超低延迟与超低功耗边缘视觉传感器内系统
计算机视觉与模式识别
2023-11-21 v5 机器人学
摘要
智能边缘视觉任务面临的关键挑战是确保功耗与延迟效率，因其通常对边缘平台施加沉重计算负载。本工作利用首批“传感器内AI”视觉平台之一——索尼IMX500，实现超低延迟与超低功耗的端到端边缘视觉应用。我们以视线估计（gaze estimation）为案例，评估IMX500并与其它边缘平台（如Google Coral Dev Micro和索尼Spresense）进行比较。我们提出TinyTracker，一种高效的、全量化的2D视线估计模型，旨在最大化本研究所考虑边缘视觉系统的性能。TinyTracker相比iTracker [1]实现了41倍尺寸缩减（600Kb），且无显著视线估计精度损失（全量化时最大0.16 cm）。TinyTracker在索尼IMX500视觉传感器上的部署实现了约19ms端到端延迟。相机读取、处理并将像素传输至加速器约需17.9ms。网络推理时间为0.86ms，另加0.24ms从传感器取回结果。端到端系统总能耗为4.9 mJ，其中推理占0.06 mJ。端到端研究表明，IMX500比CoralMicro快1.7倍（19ms对34.4ms），且能效高7倍（4.9mJ对34.2mJ）。
引用
@article{arxiv.2307.07813,
title = {TinyTracker: Ultra-Fast and Ultra-Low-Power Edge Vision In-Sensor for Gaze Estimation},
author = {Pietro Bonazzi and Thomas Ruegg and Sizhen Bian and Yawei Li and Michele Magno},
journal= {arXiv preprint arXiv:2307.07813},
year = {2023}
}