基于神经表示的演化视频流适应框架EVAN

Mufan Liu; Le Yang; Yiling Xu; Ye-kui Wang; Jenq-Neng Hwang

基于神经表示的演化视频流适应框架EVAN

图像与视频处理 2024-06-06 v1 人工智能计算机视觉与模式识别多媒体

作者: Mufan Liu , Le Yang , Yiling Xu , Ye-kui Wang , Jenq-Neng Hwang

摘要

传统编解码器的自适应比特率（ABR）无法在做出决策后进一步修改比特率，适应性有限。这可能导致选择过于保守或过于激进的比特率，分别可能导致网络带宽利用不充分或频繁重缓冲。神经视频表示（NeRV）将视频内容嵌入神经网络权重，允许在不完整模型上进行视频重建。具体而言，无需依赖相邻帧解码即可实现单帧恢复。NeRV有望提供高质量的视频重建，并更重要的是，为开发更灵活的视频传输ABR策略提供了可能。本文提出了新的框架，称为基于神经表示的演化视频流适应（EVAN），可通过强化学习中的柔性演员-评论家（SAC）进行自适应传输NeRV模型。EVAN采用更具探索性的策略，并利用渐进式播放以避免重缓冲。实验表明，EVAN可超过现有ABR方法，重缓冲减少50%，几乎提升20%。

关键词

神经视频表示自适应比特率强化学习视频流 NeRV

引用

@article{arxiv.2406.02557,
  title  = {EVAN: Evolutional Video Streaming Adaptation via Neural Representation},
  author = {Mufan Liu and Le Yang and Yiling Xu and Ye-kui Wang and Jenq-Neng Hwang},
  journal= {arXiv preprint arXiv:2406.02557},
  year   = {2024}
}

备注

accepted by ICME (conference)

基于神经表示的演化视频流适应框架EVAN

摘要

关键词

引用

备注

相关论文