SuperTran：基于参考帧的视频Transformer用于实时增强低码率码流
计算机视觉与模式识别
2022-11-24 v1 机器学习
图像与视频处理
摘要
本工作关注低码率视频流场景（如50–200Kbps），其中视频质量严重受损。我们提出一类新颖的深度生成模型，通过对此类码流进行超分辨率并同时去除压缩伪影，以增强其感知视频质量。我们的模型称为SuperTran，除低质量、低分辨率视频流外，还以单张高质量、高分辨率参考图像作为输入。模型由此学习如何从参考图像借用或复制纹理等视觉元素，并从低分辨率码流填补其余细节，从而生成感知增强的输出视频。参考帧可在视频会话开始时发送一次，或从图库中检索。重要的是，所得输出比仅使用低分辨率输入的方法（如SuperVEGAN方法）以往可能的细节明显更好。SuperTran在标准流水线旁的云端以实时（最高30帧/秒）运行。
引用
@article{arxiv.2211.12604,
title = {SuperTran: Reference Based Video Transformer for Enhancing Low Bitrate Streams in Real Time},
author = {Tejas Khot and Nataliya Shapovalova and Silviu Andrei and Walterio Mayol-Cuevas},
journal= {arXiv preprint arXiv:2211.12604},
year = {2022}
}
备注
4 pages