MEMTRACK:一种基于深度学习的稠密低对比度环境中微机器人追踪方法
计算机视觉与模式识别
2023-10-17 v1 生物物理
定量方法
摘要
考虑到微机器人微小的尺寸和高速,追踪微机器人具有挑战性。随着该领域朝着开发用于生物医学应用的微机器人以及在生理相关介质(如胶原蛋白)中进行机制研究的方向发展,周围稠密环境的特征尺寸和形状与微机器人相当,这一挑战被加剧。在此,我们报告运动增强多级追踪器(MEMTrack),一种利用合成运动特征、基于深度学习的对象检测以及带插值的改进简单在线实时追踪(SORT)算法进行追踪的鲁棒微机器人检测与追踪流水线。我们的对象检测方法基于对象运动模式组合不同模型。我们使用胶原蛋白(组织仿体)中的细菌微马达训练和验证模型,并在胶原蛋白和水相介质中测试。我们证明MEMTrack能准确追踪甚至被熟练人工标注者遗漏的最具挑战性的细菌,在胶原蛋白中分别达到77%和48%的精确率与召回率,在液体介质中达到94%和35%。此外,我们表明MEMTrack量化的平均细菌速度与被费力生成的手动追踪数据无统计显著差异。MEMTrack对微机器人定位与追踪作出了重要贡献,并开启了在稠密低对比度环境中基于视觉的深度学习微机器人控制之潜力。所有用于训练和测试MEMTrack及复现本文结果的源代码已公开于 https://github.com/sawhney-medha/MEMTrack。
引用
@article{arxiv.2310.09441,
title = {MEMTRACK: A Deep Learning-Based Approach to Microrobot Tracking in Dense and Low-Contrast Environments},
author = {Medha Sawhney and Bhas Karmarkar and Eric J. Leaman and Arka Daw and Anuj Karpatne and Bahareh Behkam},
journal= {arXiv preprint arXiv:2310.09441},
year = {2023}
}