eNCApsulate：用于包托内镜精准诊断的NCA
计算机视觉与模式识别
2025-05-01 v1 人工智能
摘要
无线胃肠道包托内镜是一种用于整个消化道成像的无侵入性方法，是传统内镜的无痛替代方案。它生成大量视频数据，需要大量审阅时间，定位服用后的包托是一大挑战。像出血检测和深度估计等技术可以帮助定位病灶，但深度学习模型通常太大，无法直接在包托上运行。我们在胃肠道包托内镜图像上训练神经细胞自动机(NCA)进行出血分割和深度估计。对于单目深度估计，我们通过将基础模型的输出视为伪ground truth，将大型基础模型蒸馏到精简的NCA架构中。随后，我们将训练好的NCA移植到ESP32微控制器上，实现了在体积如同摄像头包托般小的硬件上进行高效图像处理。NCA在其他便携式分割模型中更准确(Dice)，且仅需其他小规模模型存储的100倍以上参数。NCA深度估计的视觉结果令人信服，有时甚至优于伪ground truth的真实感和细节。在ESP32-S3上的运行时优化显著加快了平均推理速度，提升了3倍以上。通过若干算法调整和蒸馏，可能将eNCApsulate NCA模型嵌入到装有微控制器的无线胃肠道包托中。这项工作首次实现了在微型化设备上进行可靠的出血分割和深度估计，为将来结合视觉里程计实现包托的精准定位铺平了道路——在包托本身上。
引用
@article{arxiv.2504.21562,
title = {eNCApsulate: NCA for Precision Diagnosis on Capsule Endoscopes},
author = {Henry John Krumb and Anirban Mukhopadhyay},
journal= {arXiv preprint arXiv:2504.21562},
year = {2025}
}