利用关键点提取与数字木偶技术降低视频流的延迟与带宽
图像与视频处理
2021-01-11 v2
摘要
COVID-19使视频通信成为最重要的信息交换模式之一。尽管在视频流管线优化方面已开展广泛研究，特别是新型视频编解码器的开发，仍需要在视频质量和延迟方面进一步改进，尤其在恶劣网络条件下。本文提出一种替代传统编解码器的方案，通过实现以关键点为中心的编码器，依赖从视频馈送中传输关键点信息。解码器使用流式关键点生成保留输入馈送中语义特征的重建。针对视频通话应用，我们检测并传输身体姿态和人脸网格信息通过网络，在接收端以动画木偶形式显示。利用高效的姿态和人脸网格检测结合基于骨架的动画，我们展示了一个原型，所需带宽低于35 kbps，比典型视频通话系统降低一个数量级。由于网格提取和动画增加的算力延迟在标准笔记本电脑上低于120ms，展示了该框架用于实时应用的潜力。本工作代码见https://github.com/shubhamchandak94/digital-puppetry/。
引用
@article{arxiv.2011.03800,
title = {Reducing latency and bandwidth for video streaming using keypoint extraction and digital puppetry},
author = {Roshan Prabhakar and Shubham Chandak and Carina Chiu and Renee Liang and Huong Nguyen and Kedar Tatwawadi and Tsachy Weissman},
journal= {arXiv preprint arXiv:2011.03800},
year = {2021}
}
备注
10 pages, 5 figures, 1-page summary to be published at DCC 2021. Revision: added references