面向深度超分辨率模型训练的视频过拟合的高效补丁采样方法
计算机视觉与模式识别
2026-04-22 v2
摘要
利用深度神经网络（DNN）的过拟合特性正成为视频传输系统的趋势，以在带宽限制下提升视频质量。现有方法传输低分辨率（LR）比特流所对应的过拟合超分辨率（SR）模型流，用于在解码器处重建高分辨率（HR）视频。尽管这些方法显示出有前景的效果，但大量视频帧的训练计算成本限制了其实际应用。为克服这一挑战，我们提出一种名为 EPS 的高效补丁采样方法，用于视频 SR 网络过拟合，该方法从视频帧中识别出最有价值的训练补丁。为此，我们首先提出两种低复杂度离散余弦变换（DCT）基于的时空特征来直接衡量每个补丁的复杂度得分。通过分析这些特征的直方图分布，我们将所有可能的补丁分为不同簇，并从具有最高时空信息的簇中选择训练补丁。所采样的补丁数量根据视频内容自适应调整，在训练复杂度和效率之间进行权衡。我们的方法将训练补丁数量减少 75.00% 至 91.69%，具体取决于分辨率和簇的数量，同时保持高视频质量并大幅提高训练效率。我们的方法将补丁采样速度提高了最高可达 82.1 倍。
引用
@article{arxiv.2411.16312,
title = {EPS: Efficient Patch Sampling for Video Overfitting in Deep Super-Resolution Model Training},
author = {Yiying Wei and Hadi Amirpour and Jong Hwan Ko and Christian Timmerer},
journal= {arXiv preprint arXiv:2411.16312},
year = {2026}
}