基于序列建模与过去未来帧辅助变换的无追踪器徒手超声

在许多临床应用中，无需追踪器的三维徒手超声重建可能优于其二维或有追踪器的同类方法。本文提出利用前馈和循环神经网络，从过去和未来的二维图像中估计超声帧之间的三维空间变换。借助时间上可用的帧，进一步提出了一种多任务学习算法，以利用它们之间大量辅助的变换预测任务。在一项志愿者研究中，从 19 名志愿者的 38 个前臂采集了 228 次扫描中的超过 40,000 帧超声图像，基于光学追踪器的真值，通过帧预测精度、体积重建重叠度、累积跟踪误差和最终漂移来量化留出测试性能。结果表明，对时空相关的输入帧和输出变换进行建模非常重要，并且通过增加过去和/或未来的帧可以进一步改善性能。表现最佳的模型与预测中等间隔帧之间的变换有关，间隔在每秒 20 帧的速率下小于十帧。添加距离预测变换超过一秒的帧，无论是否使用基于 LSTM 的循环神经网络，都几乎没有观察到益处。有趣的是，采用所提出的方法，可能不再需要显式的序列内损失来鼓励组合变换的一致性或将累积误差最小化。实现代码和志愿者数据将公开提供，以确保可重复性和进一步研究。