用于细粒度动作分割的前向低秩随机张量
机器学习
2020-04-07 v2 计算机视觉与模式识别
机器学习
摘要
长未修剪视频中的细粒度动作分割是监控、机器人和人机交互等许多应用中的一项重要任务。为了理解长时间段内细微而精确的动作，文献表明二阶信息（例如特征协方差）或更高阶信息是有效的。然而，提取此类高阶信息相当不平凡。具体而言，维度随信息阶数呈指数增长，因此获得更强的表示能力也会增加计算成本和过拟合风险。在本文中，我们提出一种通过简单而有效的双线性形式来表示时序动作分割中高阶信息的方法。具体地，我们的贡献为：(1) 从多线性视角出发，假设三阶张量的正面切片具有低秩，我们推导出一种低复杂度的双线性形式。(2) 我们不从数据中学习张量元素，而是从不同底层分布中采样这些元素，并证明底层分布会影响信息阶数。(3) 我们将双线性形式作为最先进深度神经网络中的中间层，从而能够在复杂深度模型中有效且高效地表示高阶信息。我们的实验结果表明，所提出的双线性形式在具有挑战性的时序动作分割任务上优于先前的最先进（SOTA）方法。可在我们的项目页面查看数据、模型和代码：\url{https://vlg.inf.ethz.ch/projects/BilinearTCN/}。
引用
@article{arxiv.1906.01004,
title = {Frontal Low-rank Random Tensors for Fine-grained Action Segmentation},
author = {Yan Zhang and Krikamol Muandet and Qianli Ma and Heiko Neumann and Siyu Tang},
journal= {arXiv preprint arXiv:1906.01004},
year = {2020}
}
备注
19 pages (4 pages appendix), 3 figures. Revised theories and models, new experiments