每秒数吉像素自由运动生物并行化计算三维视频显微成像
光学
2023-05-31 v1 图像与视频处理
生物物理
摘要
为在多空间尺度上研究斑马鱼（Danio rerio）和果蝇（Drosophila）等自由运动模式生物的行为，理想情况是使用一种能在宽视场（FOV）下以高速和高空间分辨率获取三维信息的光学显微镜。然而，设计一种同时具备所有这些特性的光学仪器颇具挑战。现有大视场显微成像与三维图像测量技术通常需要大量顺序图像快照，从而牺牲了速度与通量。在此，我们提出3D-RAPID，一种基于54台相机同步阵列的计算显微镜，可在135 cm^2区域内以每秒高达230帧、超过5吉像素（GPs）每秒的通量捕获高速三维地形视频。3D-RAPID配备了一种三维重建算法，该算法对每一同步时间快照，将所有54幅图像无缝融合为一个全局一致的合成图像，其中包含配准的三维高度图。这种自监督三维重建算法本身训练一个时空压缩卷积神经网络（CNN），将原始光度图像映射到三维地形，仅以立体重叠冗余和光线传播物理作为监督机制。因此，我们的端到端三维重建算法对泛化误差具有鲁棒性，并可扩展至任意时长视频及任意规模相机阵列。3D-RAPID可扩展的硬件与软件设计解决了行为成像领域一个长期存在的问题，实现了对大群体自由运动生物在高时空通量下的并行化三维观测，我们在收获蚁（Pogonomyrmex barbatus）、果蝇和斑马鱼幼鱼中进行了演示。
引用
@article{arxiv.2301.08351,
title = {Parallelized computational 3D video microscopy of freely moving organisms at multiple gigapixels per second},
author = {Kevin C. Zhou and Mark Harfouche and Colin L. Cooke and Jaehee Park and Pavan C. Konda and Lucas Kreiss and Kanghyun Kim and Joakim Jönsson and Jed Doman and Paul Reamey and Veton Saliu and Clare B. Cook and Maxwell Zheng and Jack P. Bechtel and Aurélien Bègue and Matthew McCarroll and Jennifer Bagwell and Gregor Horstmeyer and Michel Bagnat and Roarke Horstmeyer},
journal= {arXiv preprint arXiv:2301.08351},
year = {2023}
}