消解虚拟制作中的压缩用法
图像与视频处理
2024-11-04 v1 新兴技术
人机交互
信号处理
摘要
虚拟制作 (VP) 技术不断提高现场拍摄的灵活性并增强现场演唱会体验。VP 的核心技术依赖高分辨率、高亮度的 LED 面板来播放/渲染视频内容。存在诸多技术挑战以实现有效部署，例如跨面板的图像块同步、跨面板的颜色平衡以及补偿因相机角度变化导致的颜色波动。鉴于其复杂性和潜在的质量降低，行业更倾向于使用“原样”或无压缩源材料 for 显示，这需要大量存储和带宽。现代有损压缩标准如 AV1 或 H.265 能够在显著降低的比特率和资源需求下维持相同的质量。目前尚无统一的方法来评估这些标准对 VP 场景 in-camera 记录质量的影响。我们提出了一种方法，通过比较通过 VP 屏幕显示的无压缩和有损压缩影片并 in-camera 记录来评估其影响。我们评估了 HAP/NotchLC/Daniel2 和 AV1/HEVC/H.264 压缩比特率从 2 Mb/s 到 2000 Mb/s 的质量影响，以及各种 GOP 大小。随后使用几个感知质量指标自动评估 in-camera 图片质量，参考原始无压缩源内容通过 LED 墙。我们的结果表明，混合编码器在质量上可与中间编码器相当，但所需的比特率和存储要求小几个数量级。
引用
@article{arxiv.2411.00547,
title = {Demystifying the use of Compression in Virtual Production},
author = {Anil Kokaram and Vibhoothi Vibhoothi and Julien Zouein and François Pitié and Christopher Nash and James Bentley and Philip Coulam-Jones},
journal= {arXiv preprint arXiv:2411.00547},
year = {2024}
}
备注
SMPTE Media Summit Paper on use of Compression in Virtual Production from TCD and Disguise