TTPOINT：一种用于事件相机轻量级动作识别的张量化点云网络
计算机视觉与模式识别
2023-08-22 v1
摘要
事件相机因其数据稀疏性、高动态范围与低延迟而在计算机视觉中日益流行。作为一种仿生传感器，事件相机生成稀疏且异步的数据，这本质上与传统基于帧的方法不兼容。相比之下，基于点的方法可避免额外的模态转换并自然适应事件的稀疏性。然而，其精度通常仍无法达到与基于帧的方法相当的水平。我们提出了一种轻量且通用的点云网络 TTPOINT，其在动作识别任务中即使与最先进的(state-of-the-art, SOTA)基于帧的方法相比也取得了具竞争力的结果，同时仅使用了 1.5% 的计算资源。该模型善于通过层次结构抽象局部与全局几何特征。通过利用张量列(tensor-train)压缩特征提取器，TTPOINT 可用极少的参数与计算复杂度进行设计。此外，我们开发了一种简单的下采样算法以保持时空特征。在实验中，TTPOINT 在三个数据集上成为 SOTA 方法，同时在全部五个数据集上的点云方法中也达到了 SOTA。而且，通过使用张量列分解方法，所提出的 TTPOINT 精度几乎不受影响，同时在全部五个数据集上参数规模压缩了 55%。
引用
@article{arxiv.2308.09993,
title = {TTPOINT: A Tensorized Point Cloud Network for Lightweight Action Recognition with Event Cameras},
author = {Hongwei Ren and Yue Zhou and Haotian Fu and Yulong Huang and Renjing Xu and Bojun Cheng},
journal= {arXiv preprint arXiv:2308.09993},
year = {2023}
}