基于时间分辨Transformer的瞬态测量三维重建
计算机视觉与模式识别
2025-10-13 v1 图像与视频处理
摘要
瞬态测量由时间分辨系统捕获，广泛用于光子高效重建任务，包括视线（LOS）和非视线（NLOS）成像。然而，由于传感器的低量子效率和高噪声水平，特别是在长距离或复杂场景中，其三维重建仍面临挑战。为提高光子高效成像中的三维重建性能，我们提出了一种通用的时间分辨Transformer（TRT）架构。与现有用于高维数据的变换器不同，TRT 包含两种精心设计的注意力机制，专门针对时空瞬态测量。具体而言，时空自注意力编码器通过将输入特征分割或下采样到不同尺度来探索瞬态数据中的局部和全局相关性。然后，时空交叉注意力解码器在标记空间中整合局部和全局特征，生成具有高表示能力的深度特征。基于 TRT，我们开发了两个任务特定的实现：TRT-LOS 用于 LOS 成像，TRT-NLOS 用于 NLOS 成像。大量实验表明，两个实现均在合成数据和不同成像系统捕获的真实数据上显著优于现有方法。此外，我们贡献了一个大规模的、高分辨率的合成 LOS 数据集，包含各种噪声水平，并使用自定义构建的成像系统捕获了一组真实世界的 NLOS 测量数据，增强了该领域的数据多样性。代码和数据集可在 https://github.com/Depth2World/TRT 获取。
引用
@article{arxiv.2510.09205,
title = {3D Reconstruction from Transient Measurements with Time-Resolved Transformer},
author = {Yue Li and Shida Sun and Yu Hong and Feihu Xu and Zhiwei Xiong},
journal= {arXiv preprint arXiv:2510.09205},
year = {2025}
}