利用三元组损失进行无监督动作分割
计算机视觉与模式识别
2023-07-20 v2 人工智能
摘要
本文提出一种新颖的全无监督框架,可从单输入视频自身中学习适用于动作分割任务的动作表示,无需任何训练数据。我们的方法是一种深度度量学习方法,基于浅层网络与在相似度分布上操作的三元组损失,以及一种新颖的三元组选择策略,该策略有效建模时间与语义先验以在新表示空间中发掘动作。在此情形下,我们成功以比现有无监督方法更高质量的在所学动作表示中恢复时间边界。所提方法在两个广泛使用的动作分割任务基准数据集上评估,并通过在所学表示上应用通用聚类算法取得了有竞争力的性能。
引用
@article{arxiv.2304.06403,
title = {Leveraging triplet loss for unsupervised action segmentation},
author = {E. Bueno-Benito and B. Tura and M. Dimiccoli},
journal= {arXiv preprint arXiv:2304.06403},
year = {2023}
}
备注
Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2023, pp. 4921-4929