ESP-PCT: 通过压缩点云变换器中的时空冗余实现增强 VR 语义性能
计算机视觉与模式识别
2024-09-04 v1 人工智能
摘要
语义识别是虚拟现实 (VR) 应用中的关键环节，能够实现沉浸式互动体验。利用毫米波 (mmWave) 信号生成点云是一种有前景的做法。然而，当前毫米波点云模型的高计算和内存需求限制了其效率和可靠性。为此，本文引入 ESP-PCT，一种针对 VR 应用的增强语义性能点云变换器，采用两阶段语义识别框架。ESP-PCT 利用感知点云数据的准确性，优化语义识别过程，其中定位阶段和聚焦阶段以端到端方式联合训练。我们在各种 VR 语义识别条件下评估了 ESP-PCT，显示出显著的识别效率提升。值得注意的是，ESP-PCT 在保持高准确率 (93.2%) 的同时，将计算需求 (FLOPs) 降低 76.9%，内存使用降低 78.2%，与现有 Point Transformer 模型实现同步。这些成果凸显了 ESP-PCT 在 VR 语义识别中的潜力，通过实现高准确率和降低冗余。该项目的代码和数据已公开于 \url{https://github.com/lymei-SEU/ESP-PCT}。
引用
@article{arxiv.2409.01216,
title = {ESP-PCT: Enhanced VR Semantic Performance through Efficient Compression of Temporal and Spatial Redundancies in Point Cloud Transformers},
author = {Luoyu Mei and Shuai Wang and Yun Cheng and Ruofeng Liu and Zhimeng Yin and Wenchao Jiang and Shuai Wang and Wei Gong},
journal= {arXiv preprint arXiv:2409.01216},
year = {2024}
}