LiveStre4m：来自未标定多视角视频的前馈式新颖视图实时直播
计算机视觉与模式识别
2026-04-09 v1
摘要
从未标定多视角视频进行新颖视图合成（NVS）的实时直播在广泛应用中仍是一个开放挑战。现有动态场景表示方法通常需要真实相机参数并涉及 lengthy 优化（≈2.67秒），使其不适合实时直播场景。为了解决此问题，我们提出了一种新颖的视角视频实时直播方法LiveStre4m——一个用于从未标定稀疏多视角输入进行实时NVS的前馈模型。LiveStre4m引入了一种多视角视觉变换器用于关键帧3D场景重建，并耦合了一个扩散变换器插值模块以确保时间一致性和稳定直播。此外，提出了一种相机姿态预测模块，可直接从RGB图像高效估计姿态和内参，无需依赖已知相机标定信息。我们的方法仅需两个同步的未标定输入流即可实现时间一致的新颖视图视频直播。LiveStre4m在1024×768分辨率下实现了平均每帧0.07秒的重建时间，相比基于优化的动态场景表示方法在运行时间上提升了数个数量级。这些结果表明，LiveStre4m使实际场景中的实时NVS直播成为可能，标志着向可部署的实时新颖视图合成系统迈出了重要一步。代码可在 https://github.com/pedro-quesado/LiveStre4m 获取。
引用
@article{arxiv.2604.06740,
title = {LiveStre4m: Feed-Forward Live Streaming of Novel Views from Unposed Multi-View Video},
author = {Pedro Quesado and Erkut Akdag and Yasaman Kashefbahrami and Willem Menu and Egor Bondarev},
journal= {arXiv preprint arXiv:2604.06740},
year = {2026}
}