无痛大收益：通过拟合特征级时空曲面以静态模型分类动态点云序列
计算机视觉与模式识别
2022-03-24 v2 人工智能
图形学
机器学习
多媒体
摘要
场景流是捕捉三维点云运动场的有力工具。然而，由于非结构化点使得高效且有效地追踪逐点对应变得困难甚至不可能，难以直接将基于流的模型应用于动态点云分类。为在不显式追踪对应的情况下捕捉三维运动，我们通过将 ST-曲面的运动学概念推广到特征空间，提出了一种受运动学启发的神经网络（Kinet）。通过在特征空间中展开 ST-曲面的法向求解器，Kinet 隐式编码特征级动力学，并从使用成熟的静态点云处理骨干网络中获益。仅对网络结构做微小改动且计算开销低，即可与我们给定的静态模型无痛联合训练与部署。在 NvGesture、SHREC'17、MSRAction-3D 和 NTU-RGBD 上的实验证明了其在性能上的有效性、在参数量与计算复杂度上的高效性，以及对多种静态骨干网络的通用性。值得注意的是，Kinet 在 MSRAction-3D 上以仅 3.20M 参数量和 10.35G FLOPS 取得了 93.27% 的准确率。
引用
@article{arxiv.2203.11113,
title = {No Pain, Big Gain: Classify Dynamic Point Cloud Sequences with Static Models by Fitting Feature-level Space-time Surfaces},
author = {Jia-Xing Zhong and Kaichen Zhou and Qingyong Hu and Bing Wang and Niki Trigoni and Andrew Markham},
journal= {arXiv preprint arXiv:2203.11113},
year = {2022}
}
备注
To appear at CVPR 2022 (Source Code: https://github.com/jx-zhong-for-academic-purpose/Kinet )