面向机器人辅助体内贴片的多针定位的粗到细学习
图像与视频处理
2025-04-03 v1 计算机视觉与模式识别
机器学习
机器人学
摘要
体内图像引导的多针贴片是神经科学研究细胞相互作用和网络动态的关键手段，但当前程序主要依赖人工专长，限制了可及性和可扩展性。机器人自动化为可行的解决方案，但实现多针的精确实时检测仍是挑战。现有方法聚焦于体外实验或单针使用，难以满足体内多针场景。为解决这些挑战，我们提出一种基于热力图的粗到细学习技术，以促进机器人辅助体内贴片的多针实时定位。具体而言，我们引入基于生成对抗网络（GAN）的模块以消除背景噪声并增强针头可见性。随后，我们引入两个阶段的Transformer模型，首先预测针尖的粗糙热力图，然后进行细粒度坐标回归模块以实现精确针尖定位。为确保训练的稳健性，我们采用匈牙利算法对预测位置与实际位置进行最优匹配。实验结果表明，我们的方法在多针针尖定位中，10微米内准确率超过98%，5微米内准确率超过89%，平均均方误差为2.52微米。
关键词
引用
@article{arxiv.2504.01044,
title = {Coarse-to-Fine Learning for Multi-Pipette Localisation in Robot-Assisted In Vivo Patch-Clamp},
author = {Lan Wei and Gema Vera Gonzalez and Phatsimo Kgwarae and Alexander Timms and Denis Zahorovsky and Simon Schultz and Dandan Zhang},
journal= {arXiv preprint arXiv:2504.01044},
year = {2025}
}