基于 3D 引擎的在线实时直播系统设计与实现
计算机视觉与模式识别
2024-09-11 v1
摘要
随着直播视频需求的不断增长，尤其是随着 5G 网络的出现，对低延迟高质量传输的需求日益增长。虽然 5G 提供了硬件层面的改进，但有效的软件解决方案以最小化延迟仍至关重要。当前方法（如多通道直播）未从根本上解决延迟问题，往往仅添加新通道而未优化整体性能。本论文提出一种新方法，即利用 3D 引擎（如 Unity 3D）通过单一通道传输多输入视频数据以实现低延迟。通过利用 3D 引擎的功能（如世界/屏幕空间摄像机、3D 画布和网页摄像机纹理），该系统将来自多个外部摄像机的视频流整合为统一的、低延迟的输出。本论文的关联项目演示了低延迟多通道实时视频直播系统的实现。它采用 RTSP 协议，考察视频编码技术，并基于 Unity 3D 的客户端应用程序。系统架构包括用于持久连接的 WebSocket 服务器、用于通信的 HTTP 服务器、用于存储的 MySQL 数据库、用于缓存的 Redis 以及用于负载均衡的 Nginx。每个模块独立运行，确保系统设计的灵活性和可扩展性。该系统的关键创新在于利用 3D 场景将多个视频输入映射到虚拟画布上，通过内部引擎摄像机进行录制后传输。该设计最小化了冗余数据，实现了高效且由导演引导的直播网络。论文最后讨论了项目期间遇到的挑战，并为未来的改进提供了解决方案。
引用
@article{arxiv.2409.06206,
title = {AgileIR: Memory-Efficient Group Shifted Windows Attention for Agile Image Restoration},
author = {Hongyi Cai and Mohammad Mahdinur Rahman and Mohammad Shahid Akhtar and Jie Li and Jingyu Wu and Zhili Fang},
journal= {arXiv preprint arXiv:2409.06206},
year = {2024}
}