基于联合自监督时域自适应的动作分割
计算机视觉与模式识别
2020-03-20 v3 机器学习
图像与视频处理
摘要
尽管全监督动作分割技术近期取得了进展，其性能仍不尽如人意。一个主要挑战是时空变化问题（例如不同人以不同方式执行同一活动）。因此，我们利用无标签视频，将该问题重构为因时空变化引起域差异的跨域问题。为减小差异，我们提出自监督时域自适应（SSTDA），其包含两个自监督辅助任务（二值与序列域预测），以联合对齐嵌入局部与全局时间动态的跨域特征空间，取得优于其他域自适应（DA）方法的性能。在三个具挑战性的基准数据集（GTEA、50Salads与Breakfast）上，SSTDA大幅优于当前最先进方法（例如F1@25分数：Breakfast上从59.6%提升至69.1%，50Salads上从73.4%提升至81.5%，GTEA上从83.6%提升至89.1%），且仅需65%的有标签训练数据即可取得相当性能，证明了适应于跨变化无标签目标视频的有效性。源代码见 https://github.com/cmhungsteve/SSTDA。
引用
@article{arxiv.2003.02824,
title = {Action Segmentation with Joint Self-Supervised Temporal Domain Adaptation},
author = {Min-Hung Chen and Baopu Li and Yingze Bao and Ghassan AlRegib and Zsolt Kira},
journal= {arXiv preprint arXiv:2003.02824},
year = {2020}
}
备注
CVPR 2020. Source code: https://github.com/cmhungsteve/SSTDA