Drop-DTW:在对齐序列间公共信号的同时剔除异常值
计算机视觉与模式识别
2021-08-30 v1
摘要
在本工作中,我们考虑含有异常值的信号在序列到序列对齐中的问题。在假设无异常值的情况下,标准动态时间规整(DTW)算法能高效计算两条(通常)变长序列之间的最优对齐。尽管DTW对信号的时间偏移和膨胀具有鲁棒性,但当序列中散布有任意异常值时,它无法以有意义的方式对齐序列。为解决该问题,我们提出Drop-DTW,一种在对齐序列间公共信号的同时自动从匹配中剔除异常元素的新型算法。整个流程以单一动态规划实现,高效且完全可微。在我们的实验中,我们表明Drop-DTW是一种对序列检索具有鲁棒性的相似度度量,并展示了其作为训练损失在多种应用中的有效性。借助Drop-DTW,我们处理了教学视频中的时间步定位、从含噪视频中进行表示学习,以及用于音视觉检索与定位的跨模态表示学习。在所有应用中,我们采用弱监督或无监督方法,并在这些设定下展示了最先进的结果。
引用
@article{arxiv.2108.11996,
title = {Drop-DTW: Aligning Common Signal Between Sequences While Dropping Outliers},
author = {Nikita Dvornik and Isma Hadji and Konstantinos G. Derpanis and Animesh Garg and Allan D. Jepson},
journal= {arXiv preprint arXiv:2108.11996},
year = {2021}
}