动态模板跟踪与识别

在本文中，我们解决了跟踪局部外观和运动随时间变化的非刚性物体的问题。这类物体包括动态纹理（如蒸汽、火焰、烟雾、水等）以及执行各种动作的铰接物体（如人类）。我们使用线性动态系统 (LDS) 对物体外观/运动的时间演化进行建模。我们从样本视频中学习此类模型，并将其用作动态模板以在新视频中跟踪物体。我们将当前帧中跟踪动态非刚性物体的问题表述为：给定当前图像特征和前一帧状态的最佳估计，对物体位置和动态系统潜在状态的最大后验估计。我们方法的优势在于，通过使用预先训练的纹理动态模型，我们可以先验地指定场景中要跟踪的纹理类型。我们的框架自然地将常见的跟踪方法（如 SSD 和基于核的跟踪）从静态模板推广到动态模板。我们在动态纹理的合成及真实示例上测试了我们的算法，结果表明我们简单的基于动态的跟踪器性能达到甚至优于最先进水平。由于我们的方法具有通用性且适用于任何图像特征，我们也将其应用于人类动作跟踪问题，并构建了特定动作的光流跟踪器，其在跟踪执行特定动作的人类时表现优于最先进水平。最后，由于我们的方法是生成式的，我们可以使用针对不同纹理或动作类别预先训练的跟踪器，同时在视频中跟踪并识别纹理或动作。