PS-NeRV：面向视频的块级风格化神经表示
计算机视觉与模式识别
2022-08-09 v1
摘要
我们研究如何用隐式神经表示(INRs)来表示视频。经典的 INRs 方法通常利用 MLP 将输入坐标映射到输出像素。而近期一些工作尝试用 CNN 直接重建整幅图像。然而，我们认为上述像素级与图像级策略均不利于视频数据。相反，我们提出一种块级方案 PS-NeRV，将视频表示为块及相应块坐标的函数。它自然继承了图像级方法的优势，并以快速的解码速度实现了优异的重建性能。整个方法包含位置嵌入、MLP 与 CNN 等常规模块，同时引入 AdaIN 以增强中间特征。这些简单却关键的改动可帮助网络轻松拟合高频细节。大量实验证明了其在视频压缩与视频修复等若干视频相关任务中的有效性。
引用
@article{arxiv.2208.03742,
title = {PS-NeRV: Patch-wise Stylized Neural Representations for Videos},
author = {Yunpeng Bai and Chao Dong and Cairong Wang},
journal= {arXiv preprint arXiv:2208.03742},
year = {2022}
}
备注
9 pages, 11 figures