Text2LiDAR：通过等距矩形变换器实现文本引导的激光点云生成
计算机视觉与模式识别
2024-07-30 v1
摘要
复杂的交通环境和各种天气条件使得收集 LiDAR 数据昂贵且具有挑战性。实现高质量且可控的 LiDAR 数据生成刻不容缓，控制文本是常见做法，但该领域几乎没有研究。为此，我们提出Text2LiDAR，即第一个高效、多样且可由文本控制的 LiDAR 数据生成模型。具体而言，我们设计了等距矩形变换器架构，利用设计的等距矩形注意力以数据特征方式捕获 LiDAR 特征。然后，我们设计了控制信号嵌入注入器，通过全局到聚焦注意力机制高效整合控制信号。此外，我们构思了频率调制器以辅助模型恢复高频细节，确保生成点云的清晰度。为促进该领域的发展并优化文本控制生成性能，我们构建了 nuLiDARtext，提供850个场景中34,149个 LiDAR 点云的多样化文本描述。在KITTI-360和nuScenes数据集上进行的对 uncontrolled 和 text-controlled 生成的各种形式实验表明了我们方法的优越性。
引用
@article{arxiv.2407.19628,
title = {Text2LiDAR: Text-guided LiDAR Point Cloud Generation via Equirectangular Transformer},
author = {Yang Wu and Kaihua Zhang and Jianjun Qian and Jin Xie and Jian Yang},
journal= {arXiv preprint arXiv:2407.19628},
year = {2024}
}