DPMix：面向 4D 动作分割的深度视频与点云视频专家混合方法
计算机视觉与模式识别
2023-08-01 v1
摘要
在本技术报告中，我们展示了在 Human-Object Interaction 4D（HOI4D）数据集上针对第一人称动作分割任务所开展研究的发现。作为一个相对新颖的研究领域，点云视频方法可能不擅长时序建模，尤其是对于较长的点云视频（例如 150 帧）。相比之下，传统的视频理解方法已发展得较为成熟。它们在时序建模上的有效性已在许多大规模视频数据集上得到广泛验证。因此，我们将点云视频转换为深度视频，并采用传统视频建模方法来改进 4D 动作分割。通过集成深度与点云视频方法，准确率得到显著提升。所提出的方法被称为深度与点云视频专家混合（DPMix），在 HOI4D Challenge 2023 的 4D 动作分割赛道中获得第一名。
引用
@article{arxiv.2307.16803,
title = {DPMix: Mixture of Depth and Point Cloud Video Experts for 4D Action Segmentation},
author = {Yue Zhang and Hehe Fan and Yi Yang and Mohan Kankanhalli},
journal= {arXiv preprint arXiv:2307.16803},
year = {2023}
}