RocSync：异构相机系统的毫秒级精度时序同步
计算机视觉与模式识别
2025-11-20 v1
摘要
多视图视频流的准确时空对齐是众多动态场景应用（如多视图3D重建、姿态估计和场景理解）的关键。然而，在异构摄像系统（如专业设备与消费级设备的混合、可见光与红外传感器的组合、或具有无声功能与无声功能的系统）中实现摄像机同步仍是一大挑战，尤其是在缺乏公共硬件同步能力的情况下。这一限制在现实环境中尤为突出，因为无法实现受控的捕获条件。本文提出一种低成本、通用的同步方法，实现跨异构摄像系统的毫秒级时序对齐，支持可见光（RGB）和红外（IR）两种模态。该方案采用自制的“LED时钟”通过红色和红外LED编码时间，允许从记录到的帧中视觉解码曝光窗口（开始和结束时间），从而实现毫秒级同步。我们对比硬件同步方法，实现了多次记录中1.34~ms的残差均方根误差。在进一步实验中，我们的方法在光学、音频和时间码基础同步方法中表现更优，并直接改善了下游计算机视觉任务，包括多视图姿态估计和3D重建。最后，我们在涉及25余台异构摄像机（涵盖IR和RGB模态）的大规模手术录像中验证了该系统。该解决方案简化并优化了同步流程，拓展了在不受约束环境中（包括工业和临床应用）使用先进视觉传感技术的便捷性。
引用
@article{arxiv.2511.14948,
title = {RocSync: Millisecond-Accurate Temporal Synchronization for Heterogeneous Camera Systems},
author = {Jaro Meyer and Frédéric Giraud and Joschua Wüthrich and Marc Pollefeys and Philipp Fürnstahl and Lilian Calvet},
journal= {arXiv preprint arXiv:2511.14948},
year = {2025}
}
备注
16 pages, 6 figures