时间变换网络:不变性与判别性时间扭曲的联合学习
计算机视觉与模式识别
2019-06-17 v1
摘要
许多时间序列分类问题需要开发对时间错位具有不变性的度量。在人体活动分析中,时间错位由多种原因引起,包括不同的初始相位、传感器采样率,以及由受试者特定生物力学导致的弹性时间扭曲。该领域以往工作仅着眼于通过弹性时间对齐来减小类内变异性。本文中,我们提出一种基于模型与数据驱动混合的方法,学习扭曲函数,不仅减小类内变异性,还增大类间分离度。我们称之为时间变换网络(TTN)。TTN 是一个可解释的微分模块,可轻松集成于分类网络的前端。该模块能够通过生成依赖于输入的扭曲函数来减小类内方差,从而产生对速率鲁棒的表示。同时,它通过学习更具判别性的扭曲函数来增大类间方差。我们在具有挑战性的数据集上展示了所提框架在 3D 动作识别上优于强基线。当训练集较小时,改进尤为显著。
引用
@article{arxiv.1906.05947,
title = {Temporal Transformer Networks: Joint Learning of Invariant and Discriminative Time Warping},
author = {Suhas Lohit and Qiao Wang and Pavan Turaga},
journal= {arXiv preprint arXiv:1906.05947},
year = {2019}
}
备注
Published in CVPR 2019, Codes available at https://github.com/suhaslohit/TTN