CNeRV：面向视觉数据的内容自适应神经表示
计算机视觉与模式识别
2022-11-21 v1
摘要
视觉数据的压缩与重建在计算机视觉界已被广泛研究，甚至在深度学习普及之前。近来，有人使用深度学习改进或精炼现有流水线，也有人提出了端到端方法，包括自动编码器与隐式神经表示，如 SIREN 和 NeRV。在本工作中，我们提出带内容自适应嵌入的神经视觉表示（CNeRV），其结合了自动编码器的泛化性与隐式表示的简洁紧凑性。我们引入一种新颖的内容自适应嵌入，统一、简洁且内部（视频内）可泛化，辅以单层编码器的强大解码器。我们在训练中所见帧的重建任务上匹配了最先进隐式神经表示 NeRV 的性能，同时远超其在训练中被跳过的帧（未见图像）上的表现。为在未见图像上达到相似重建质量，NeRV 因其缺乏内部泛化性需多花 120 倍时间逐帧过拟合。在相同的潜码长度与相近模型规模下，CNeRV 在所见与未见图像重建上均优于自动编码器。我们还展示了视觉数据压缩的有前景结果。更多细节见项目页 https://haochen-rye.github.io/CNeRV/。
引用
@article{arxiv.2211.10421,
title = {CNeRV: Content-adaptive Neural Representation for Visual Data},
author = {Hao Chen and Matt Gwilliam and Bo He and Ser-Nam Lim and Abhinav Shrivastava},
journal= {arXiv preprint arXiv:2211.10421},
year = {2022}
}
备注
BMVC 2022 at https://haochen-rye.github.io/CNeRV