ActionDiffusion：一种面向教学视频流程规划的动作感知扩散模型
计算机视觉与模式识别
2024-07-23 v2
摘要
我们提出 ActionDiffusion——一种用于教学视频流程规划的新型扩散模型，首次在流程规划的扩散模型中考虑了动作之间的时序相互依赖关系。该方法与现有方法形成鲜明对比，后者未能利用动作执行特定顺序中所蕴含的丰富信息。我们的方法通过将动作信息投影到噪声空间，在扩散过程中统一了动作间时序依赖关系的学习与动作计划的去噪。具体实现方式为：1) 在加噪阶段的噪声掩码中添加动作嵌入；2) 在噪声预测网络中引入注意力机制，以学习不同动作步骤之间的相关性。我们在三个教学视频基准数据集（CrossTask、Coin 和 NIV）上进行了大量实验，结果表明，我们的方法在 CrossTask 和 NIV 的所有指标上，以及在 Coin 数据集除准确率外的所有指标上，均优于以往最先进的方法。我们证明，通过在噪声掩码中添加动作嵌入，扩散模型能够更好地学习动作时序依赖关系，并提升流程规划的性能。
引用
@article{arxiv.2403.08591,
title = {ActionDiffusion: An Action-aware Diffusion Model for Procedure Planning in Instructional Videos},
author = {Lei Shi and Paul Bürkner and Andreas Bulling},
journal= {arXiv preprint arXiv:2403.08591},
year = {2024}
}