NLUT：基于神经网络的 3D 查找表用于视频逼真风格迁移
计算机视觉与模式识别
2023-03-20 v2 图像与视频处理
摘要
视频逼真风格迁移旨在生成具有与风格图像相似的逼真风格且保持时间一致性的视频。然而，现有方法通过对逐帧进行逼真风格迁移来获得风格化视频序列，效率低下且无法保证风格化视频的时间一致性。为解决此问题，我们采用基于神经网络的 3D 查找表（LUT）进行视频的逼真迁移，在效率与效果间取得平衡。我们首先在大规模数据集上训练一个用于生成逼真风格化 3D LUT 的神经网络；然后，在对特定视频进行逼真风格迁移时，选取视频中的关键帧与风格图像作为数据源并对神经网络进行微调；最后，我们查询微调后神经网络生成的 3D LUT 以获得视频中的颜色，从而实现超快速的逼真风格迁移，即便处理 8K 视频每帧也耗时少于 2 毫秒。实验结果表明，我们的方法不仅能实现任意风格图像的逼真风格迁移，还在视觉质量与一致性上优于现有方法。项目页面：https://semchan.github.io/NLUT_Project。
引用
@article{arxiv.2303.09170,
title = {NLUT: Neural-based 3D Lookup Tables for Video Photorealistic Style Transfer},
author = {Yaosen Chen and Han Yang and Yuexin Yang and Yuegen Liu and Wei Wang and Xuming Wen and Chaoping Xie},
journal= {arXiv preprint arXiv:2303.09170},
year = {2023}
}