用于时间稳定CNN的单帧正则化
计算机视觉与模式识别
2020-04-15 v2 机器学习
摘要
卷积神经网络（CNNs）能够建模图像间复杂的非线性关系。然而，它们对输入中的微小变化极其敏感。大多数被训练用于描述图像到图像映射的CNN在应用于视频序列时，会产生时间上不稳定的结果，导致随时间出现的闪烁伪影及其他不一致性。为了将CNN用于视频素材，先前的方法依赖于在训练和/或推理阶段估计稠密帧间运动信息（光流），或探索循环学习结构。我们采取不同的思路，将时间稳定性作为代价函数的正则化项。该正则化被公式化为考虑帧间可能发生的不同类型运动，从而无需视频素材或昂贵运动估计即可训练时间稳定的CNN。训练可作为微调操作执行，无需对CNN进行架构修改。我们的评估表明，该训练策略大幅改善了时间平滑性。此外，对于小数据集，该正则化在提升泛化性能方面的帮助远超朴素增强策略的可能程度。
引用
@article{arxiv.1902.10424,
title = {Single-frame Regularization for Temporally Stable CNNs},
author = {Gabriel Eilertsen and Rafał K. Mantiuk and Jonas Unger},
journal= {arXiv preprint arXiv:1902.10424},
year = {2020}
}
备注
Project web: http://hdrv.org/hdrcnn/cvpr2019/