Q-Segment：用于基于血管的医学诊断的传感器内图像分割
图像与视频处理
2024-03-05 v3 计算机视觉与模式识别
摘要
本文探讨了直接在传感器内部署深度学习模型的日益增长的兴趣。我们提出了“Q-Segment”，一种量化实时分割算法，并在配备传感器内处理器的低功耗边缘视觉平台 Sony IMX500 上进行了全面评估。该模型的主要目标之一是实现用于基于血管的医学诊断的端到端图像分割。在 IMX500 平台上部署后，Q-Segment 实现了仅 0.23 ms 的传感器内超低推理时间和仅 72mW 的功耗。我们将提出的网络与现有最先进模型（包括浮点型和量化型）进行了比较，结果表明所提方案在计算效率方面优于各种平台上的现有网络，例如，比 ERFNet 高效 75 倍。该网络采用带有跳跃连接的编码器-解码器结构，在 CHASE 数据集上实现了 97.25% 的二值准确率和 96.97% 的受试者工作特征曲线下面积（AUC）。我们还对 IMX500 处理核心与 Sony Spresense（一种低功耗多核 ARM Cortex-M 微控制器）以及单核 ARM Cortex-M4 进行了比较，表明它能够实现端到端低延迟（17 ms）和低功耗（254mW）的传感器内处理。本研究为边缘图像分割提供了宝贵见解，为针对低功耗环境定制的高效算法奠定了基础。
引用
@article{arxiv.2312.09854,
title = {Q-Segment: Segmenting Images In-Sensor for Vessel-Based Medical Diagnosis},
author = {Pietro Bonazzi and Yawei Li and Sizhen Bian and Michele Magno},
journal= {arXiv preprint arXiv:2312.09854},
year = {2024}
}