TVRN：面向压缩感知的时间视频重缩放可逆神经网络
图像与视频处理
2026-05-18 v1 计算机视觉与模式识别
摘要
为了适应多样的显示和带宽限制，高帧率视频被时间下缩放为低帧率（LFR）视频，之后再上缩放，这需要联合优化以实现有效的帧率重缩放。然而，现有方法通常通过训练目标将这两个操作联系起来，未能充分利用其互逆性质，这可能导致高频信息丢失。此外，它们忽略了有损编解码器对 LFR 视频的影响，限制了实际应用。在本工作中，我们提出了一个面向压缩感知的帧率重缩放端到端框架，名为 TVRN。为了正则化帧率下缩放过程中丢失的高频信息，TVRN 采用了一种可逆架构，该架构结合了多输入多输出时间小波变换与高频重建模块。为了通过不可微的有损编解码器实现端到端训练，我们设计了一个代理网络来近似其梯度。最后，为了提高在各种压缩水平下的鲁棒性，我们通过引入利用学习排序策略学到的压缩感知特征，将 TVRN 扩展为非对称架构。大量实验表明，在工业视频压缩设置下，TVRN 的重建质量优于现有方法。源代码公开于 https://github.com/fengxinmin/TVRN_public。
引用
@article{arxiv.2605.15579,
title = {TVRN: Invertible Neural Networks for Compression-Aware Temporal Video Rescaling},
author = {Xinmin Feng and Li Li and Dong Liu and Feng Wu},
journal= {arXiv preprint arXiv:2605.15579},
year = {2026}
}
备注
Accepted by IEEE Transactions on Image Processing