基于全局时间对齐与循环一致性的表示学习
计算机视觉与模式识别
2021-05-12 v1
摘要
我们提出了一种弱监督的表示学习方法，其基于对齐同一过程（例如人类动作）的时间序列（例如视频）。核心思想是利用序列对之间潜在对应关系的全局时间顺序作为监督信号。具体而言，我们提出了一种基于最优序列对齐打分的损失函数来训练嵌入网络。我们的损失基于动态时间规整（DTW）的一种新颖概率路径寻找视角，包含以下三个关键特征：（i）局部路径路由决策是对比性的且可微；（ii）成对距离被转化为同样具有对比性的概率；（iii）我们的公式自然引入了一种验证对应关系的全局循环一致性损失。在评估中，我们考虑了细粒度动作分类、少样本学习和视频同步任务。我们报告了相较先前方法的显著性能提升。此外，我们报告了时间对齐框架的两个应用，即三维姿态重建与细粒度音视频检索。
引用
@article{arxiv.2105.05217,
title = {Representation Learning via Global Temporal Alignment and Cycle-Consistency},
author = {Isma Hadji and Konstantinos G. Derpanis and Allan D. Jepson},
journal= {arXiv preprint arXiv:2105.05217},
year = {2021}
}
备注
accepted to CVPR 2021