基于GRU-Normalizing Flow的推理时随机细化：用于实时视频运动传递
计算机视觉与模式识别
2026-02-03 v2 机器学习
摘要
实时视频运动传递应用，如沉浸式游戏和基于视觉的异常检测，需要准确且多样化的未来预测，以支持现实合成和在不确定性下进行稳健的下游决策。为提高此类顺序预测的多样性，我们提出一种新颖的推理时细化技术，将Gated Recurrent Unit-Normalizing Flows (GRU-NF)与随机抽样方法结合。虽然GRU-NF通过将归一化流整合到时序预测框架中可以捕获多模态分布，但其确定性转换结构可能限制表达能力。为此，灵感来自随机归一化流 (SNF)，我们在GRU-NF推理期间引入马尔可夫链蒙特卡罗 (MCMC) 步骤，使模型能够探索更丰富的输出空间，从而更好地逼近真实数据分布，而无需重新训练。我们在基于关键点的视频运动传递管道中验证了此方法，其中捕获具有时序一致性和感知多样性的未来轨迹对于实现真实样本和低带宽通信至关重要。实验表明，我们的推理框架，Gated Recurrent Unit- Stochastic Normalizing Flows (GRU-SNF)，在不牺牲准确性的前提下，优于GRU-NF，能够在更长的预测时程下生成多样化的输出。通过在推理期注入随机性，我们的方法更有效地捕获了多模态行为。这些结果凸显了将随机动力学与基于流的序列模型集成用于生成时序预测的潜力。代码已提供：https://github.com/Tasmiah1408028/Inference-Time-Stochastic-Refinement-Of-GRU-NF-For-Real-Time-Video-Motion-Transfer
引用
@article{arxiv.2512.04282,
title = {Inference-time Stochastic Refinement of GRU-Normalizing Flow for Real-time Video Motion Transfer},
author = {Tasmiah Haque and Srinjoy Das},
journal= {arXiv preprint arXiv:2512.04282},
year = {2026}
}