通过神经CDE利用视频建模中的归纳偏置
计算机视觉与模式识别
2023-11-10 v1
摘要
我们引入了一种新颖的视频建模方法，利用受控微分方程（CDEs）来解决视频任务中的关键挑战，特别是视频插值和掩码传播。我们在不同分辨率上应用CDEs，从而构建出一种连续时间U-Net架构。与传统方法不同，我们的方法不需要显式的光流学习，而是利用CDEs固有的连续时间特征来产生极具表达力的视频模型。我们在视频插值和掩码传播任务上展示了与最先进模型相竞争的性能。
引用
@article{arxiv.2311.04986,
title = {Exploiting Inductive Biases in Video Modeling through Neural CDEs},
author = {Johnathan Chiu and Samuel Duffield and Max Hunter-Gordon and Kaelan Donatella and Max Aifer and Andi Gu},
journal= {arXiv preprint arXiv:2311.04986},
year = {2023}
}