用于未来视频帧预测的抗混叠预测编码网络
计算机视觉与模式识别
2023-05-12 v2
摘要
我们在此介绍一种基于预测编码的模型，旨在生成准确且清晰的未来帧。受预测编码假说及相关工作的启发，整个模型通过自底向上和自顶向下的信息流组合进行更新，这能增强不同网络层级之间的交互。最重要的是，我们提出并改进了若干技术，以确保神经网络生成清晰自然的帧。不同的输入不再被简单地拼接或相加，而是以调制方式进行计算，以避免粗略融合。下采样和上采样模块经过重新设计，以确保网络能更轻松地从低频输入的傅里叶特征构建图像。此外，我们还探索并改进了训练策略，以生成可信的结果，并缓解输入预测帧与真实值之间的不一致性。我们的方案在像素精度和可视化效果之间取得了更好的平衡。
引用
@article{arxiv.2301.05421,
title = {Anti-aliasing Predictive Coding Network for Future Video Frame Prediction},
author = {Chaofan Ling and Weihua Li and Junpei Zhong},
journal= {arXiv preprint arXiv:2301.05421},
year = {2023}
}