SynthSoM-Twin：用于通过机器联觉实现Sim2Real迁移的多模态感知通信数字孪生数据集
信号处理
2025-11-17 v1
摘要
本文构建了一个新颖的多模态感知通信数字孪生数据集，名为SynthSoM-Twin，其与现实世界在时空上一致，用于通过机器联觉（Synesthesia of Machines, SoM）进行Sim2Real迁移。为了构建SynthSoM-Twin数据集，我们提出了一种新框架，可以扩展现有真实世界多模态感知通信数据集的数量和缺失模态。具体而言，我们利用多模态感知辅助的目标检测和跟踪算法来确保静态物体和动态物体在真实世界和仿真环境之间的时空一致性。构建的场景被导入三个高保真仿真器，即AirSim、WaveFarer和Sionna RT。SynthSoM-Twin数据集包含与现实世界时空一致的数据，包括66,868个合成RGB图像快照、深度图、激光雷达（LiDAR）点云、毫米波（mmWave）雷达点云以及大规模和小规模信道衰落数据。为了验证SynthSoM-Twin数据集的效用，我们通过跨模态生成模型（CMGMs）实现了两个跨模态下游任务来进行Sim2Real迁移研究，即跨模态信道生成模型和多模态感知辅助波束生成模型。基于下游任务，我们探索了现实世界数据注入的阈值，该阈值可以在现实世界数据使用和模型实际性能之间取得合理的权衡。实验结果表明，在SynthSoM-Twin数据集上训练的模型取得了良好的实际性能，现实世界数据的注入进一步促进了Sim2Real可迁移性。基于SynthSoM-Twin数据集，注入少于15%的现实世界数据可以实现与仅使用全部现实世界数据训练相似甚至更好的性能。
引用
@article{arxiv.2511.11503,
title = {SynthSoM-Twin: A Multi-Modal Sensing-Communication Digital-Twin Dataset for Sim2Real Transfer via Synesthesia of Machines},
author = {Junlong Chen and Ziwei Huang and Xuesong Cai and Xiang Cheng and Liuqing Yang},
journal= {arXiv preprint arXiv:2511.11503},
year = {2025}
}