轻量化多平面图像网络：从平面视频实现实时立体转换
计算机视觉与模式识别
2024-12-05 v1
摘要
随着立体显示技术的快速发展，尤其是无 glasses 3D 屏幕和虚拟现实设备，立体转换已成为解决高质量立体图像与视频资源匮乏的重要任务。当前立体转换算法通常难以平衡重建性能与推理效率。本文提出一种基于多平面图像（MPI）的平面视频实时立体转换网络，包含用于生成 MPI 的细节分支和用于感知深度信息的深度语义分支。不同于依赖显式深度图输入的模型，所提方法采用轻量化深度语义分支隐式提取深度感知特征。为优化轻量分支，采用重训练轻推理的策略，即设计仅用于训练阶段的粗到细辅助分支。在此基础上，本方法简化了立体转换场景下的 MPI 渲染流程，以进一步加速推理。实验结果表明，所提方法在性能上可与若干最先进（SOTA）模型相当，并支持 2K 分辨率下的实时推理。相较于 SOTA TMPI 方法，所提方法在获得类似主观质量的同时，实现了超过 的推理加速。
引用
@article{arxiv.2412.03102,
title = {Lightweight Multiplane Images Network for Real-Time Stereoscopic Conversion from Planar Video},
author = {Shanding Diao and Yang Zhao and Yuan Chen and Zhao Zhang and Wei Jia and Ronggang Wang},
journal= {arXiv preprint arXiv:2412.03102},
year = {2024}
}
备注
9 pages, 7 figures