从聚类视角看时间戳监督的动作分割
计算机视觉与模式识别
2023-04-25 v2
摘要
时间戳监督下的视频动作分割由于较低的标注成本近来受到广泛关注。大多数现有方法为每段视频中的所有帧生成伪标签以训练分割模型。然而，这些方法受困于不正确的伪标签，尤其是对于两个连续动作之间语义不清晰的过渡区域中的帧，我们称之为模糊区间。为解决此问题，我们从聚类视角提出一种新颖框架，包含以下两部分。首先，伪标签集成生成不完整但高质量的伪标签序列，其中模糊区间中的帧没有伪标签。其次，迭代聚类通过聚类将伪标签迭代传播至模糊区间，从而更新伪标签序列以训练模型。我们进一步引入一种聚类损失，其鼓励同一动作段内帧的特征更加紧凑。大量实验显示了我们方法的有效性。
引用
@article{arxiv.2212.11694,
title = {Timestamp-Supervised Action Segmentation from the Perspective of Clustering},
author = {Dazhao Du and Enhan Li and Lingyu Si and Fanjiang Xu and Fuchun Sun},
journal= {arXiv preprint arXiv:2212.11694},
year = {2023}
}
备注
Accepted as a conference paper to the 32nd International Joint Conference on Artificial Intelligence (IJCAI-23)