人工智能原生的机器类比感觉综合 (SoM)：多模态感知-通信集成的基础模型驱动
信号处理
2025-06-10 v1
摘要
为支撑未来智能多功能六代 (6G) 无线通信网络，提出一种名为机器类比感觉 (SoM) 的新范式，用于人工智能 (AI) 原生的多模态感知-通信集成。然而，现有 SoM 系统设计依赖于任务特定的 AI 模型，且面临数据稀缺、建模能力受限、泛化性差和通用性有限等挑战。最近，基础模型 (FM) 作为一种新的深度学习范式涌现，并在 SoM 相关任务中得到初步应用，但尚缺乏系统的设计框架。本文首次提出 FM 用于 SoM 系统设计的系统化分类， 将其划分为通用型 FM、特定于大语言模型 (LLM) 的 LLM 以及 SoM 领域特定的 FM，即无线基础模型。进一步，本文推导 FM 在解决 SoM 系统现有挑战方面的关键特征，并提出两种相应的路线图，即 LLM 驱动和无线基础模型驱动。对于每条路线图，本文提供包含关键设计步骤的框架作为指导管线，并提供若干代表性的 FM 赋能 SoM 系统设计案例研究。具体而言，本文提出 LLM 驱动的路径损耗生成 (LLM4PG) 和散射体生成 (LLM4SG) 方案，以及用于 SoM 机制探索的无线信道基础模型 (WiCo)；提出 LLM 驱动的无线多任务 SoM 收发器 (LLM4WM) 和无线基础模型 (WiFo) 用于 SoM 增强型收发器设计，以及用于 SoM 增强型协作感知的无线协作感知基础模型 (WiPo)，充分展示了 FM 相对于任务特定模型的显著优势。最后，本文总结并展望未来研究的潜在方向。
引用
@article{arxiv.2506.07647,
title = {Foundation Model Empowered Synesthesia of Machines (SoM): AI-native Intelligent Multi-Modal Sensing-Communication Integration},
author = {Xiang Cheng and Boxun Liu and Xuanyu Liu and Ensong Liu and Ziwei Huang},
journal= {arXiv preprint arXiv:2506.07647},
year = {2025}
}