基于 TinyissimoYOLO 的 AI 智能眼镜上超高效设备端目标检测
计算机视觉与模式识别
2025-10-10 v3 人工智能
机器人学
摘要
得益于前沿计算技术（尤其是加速硬件架构与微型人工智能（AI）算法），智能眼镜正迅速获得先进功能。然而，将 AI 集成到具有小外形尺寸与有限电池容量的智能眼镜中，仍对令人满意的用户体验构成挑战。为此，本文提出了一种用于始终开启的设备端目标检测的智能眼镜平台设计，其具备全天电池续航能力。该平台基于 GAP9（Greenwaves Technologies 推出的新型多核 RISC-V 处理器）。此外，提出了一系列亚百万参数的 TinyissimoYOLO 网络。它们在既定数据集上进行了基准测试，能够在 MS-COCO 上区分多达 80 个类别。在智能眼镜原型上的评估表明，TinyissimoYOLO 的推理延迟仅为 17ms，每次推理消耗 1.59mJ 能量。实现了 56ms 的端到端延迟，相当于 18 帧每秒（FPS），总功耗为 62.9mW。这确保了在 154mAh 电池上连续系统运行时间长达 9.3 小时。这些结果优于 MCUNet（TinyNAS+TinyEngine），后者仅以 7.3 FPS 运行更简单的任务（图像分类），而本文实现的 18 FPS 甚至包含了图像采集、网络推理与检测后处理。本算法的代码随本文开源，可在此处获取：https://github.com/ETH-PBL/TinyissimoYOLO
引用
@article{arxiv.2311.01057,
title = {Ultra-Efficient On-Device Object Detection on AI-Integrated Smart Glasses with TinyissimoYOLO},
author = {Julian Moosmann and Pietro Bonazzi and Yawei Li and Sizhen Bian and Philipp Mayer and Luca Benini and Michele Magno},
journal= {arXiv preprint arXiv:2311.01057},
year = {2025}
}
备注
This paper has been accepted for publication at ECCV 2024 Workshops, Milan, 2024