虚拟现实中渲染人类化身视频的主观与客观质量评估

我们研究了对被扭曲的数字人类化身（有时在虚拟现实 [VR] 和增强现实 [AR] 系统的术语中称为“全息投影”）的人类主观视觉质量判断。 我们也研究了视频质量模型预测人类判断的能力。 随着在 VR 或 AR 中流式传输人类化身视频变得越来越常见，针对在可变带宽场景下在忠实传递高质量视觉表征之间进行权衡，将需要更高级的人类化身视频压缩协议。 在通过互联网传输期间，压缩人类化身视频的感知质量可能严重受到视觉伪影的影响。 为了在实际工作流程中在感知质量和数据量之间进行优化，视频质量评估（VQA）模型是必不可少的工具。然而，由于缺乏足够大的合适且全面的数据集，针对分析人类身体化身视频的 VQA 算法极少。 为填补这一空白，我们引入了 LIVE-Meta 渲染人类化身 VQA 数据集，其中包含 720 个人类化身视频，使用 20 种不同的编码参数组合进行处理，由对应的人类感知质量判断标签所标注，这些标签是在六自由度 VR 头显上收集的。 为了演示这一新型独特视频资源的有用性，我们使用它来研究和比较各种最新无参考和全参考视频质量预测模型的性能，包括一种新模型称为 HoloQA。作为服务于研究社区的贡献，我们公开发布了该新数据集的元数据，地址为 https://live.ece.utexas.edu/research/LIVE-Meta-rendered-human-avatar/index.html。