用于无监督动作分割的时间一致性非平衡最优传输
计算机视觉与模式识别
2024-04-09 v3 机器学习
图像与视频处理
摘要
我们提出了一种基于求解最优传输问题的新方法，用于长视频、未裁剪视频的动作分割任务。通过将时间一致性先验编码到Gromov-Wasserstein问题中，我们能够从视频帧与动作类别之间的噪声亲和力/匹配成本矩阵中解码出时间一致的分割。与以往方法不同，我们的方法不需要知道视频的动作顺序即可实现时间一致性。此外，我们得到的（融合）Gromov-Wasserstein问题可以通过几次投影镜像下降迭代在GPU上高效求解。我们在无监督学习设置中展示了我们方法的有效性，其中我们的方法用于生成自训练的伪标签。我们在Breakfast、50-Salads、YouTube Instructions和Desktop Assembly数据集上评估了我们的分割方法和无监督学习流程，在无监督视频动作分割任务上取得了最先进的结果。
引用
@article{arxiv.2404.01518,
title = {Temporally Consistent Unbalanced Optimal Transport for Unsupervised Action Segmentation},
author = {Ming Xu and Stephen Gould},
journal= {arXiv preprint arXiv:2404.01518},
year = {2024}
}
备注
Accepted to CVPR 2024 (Oral)