面向 ISAC 的白盒 3D-OMP-Transformer
信号处理
2024-07-03 v1
摘要
Transformer 因其利用注意力机制捕获输入间长程依赖关系的强大能力而得到广泛应用。Transformer 近期的成功增加了对其底层工作机制进行数学解释的需求，从而催生了一系列白盒类 Transformer 深度网络架构。然而，设计具有高效三维（3D）注意力的白盒 Transformer 仍是一个开放挑战。在本工作中，我们重新审视 3D 正交匹配追踪（OMP）算法，并证明 3D-OMP 的操作类似于一种具有 3D 注意力的特定 Transformer。因此，我们通过向 3D-OMP 引入额外的可学习参数，构建了白盒 3D-OMP-Transformer。作为 Transformer，其 3D 注意力可以从 3D-OMP 进行数学解释；而作为 OMP 的变体，它能够从数据中学习并改进匹配追踪过程。此外，Transformer 的性能可以通过堆叠更多 Transformer 模块来提升。为了模拟这一过程，我们设计了带有动态小规模字典的级联 3D-OMP-Transformer，能够以低成本提升 3D-OMP-Transformer 的性能。我们在通感一体化（ISAC）的多目标检测任务中评估了所设计的 3D-OMP-Transformer。实验结果表明，所设计的 3D-OMP-Transformer 优于当前基线。
引用
@article{arxiv.2407.02251,
title = {White-Box 3D-OMP-Transformer for ISAC},
author = {Bowen Zhang and Geoffrey Ye Li},
journal= {arXiv preprint arXiv:2407.02251},
year = {2024}
}