在 6G 无线系统中使用统一 Perceiver 与共形预测的任务导向多感官媒体通信

扩展现实（XR）、全息型通信和元宇宙日益增长的重要性，要求通过使用多种感官模态（包括视觉、听觉、触觉、嗅觉、味觉等）来实现真正沉浸式的用户体验。此外，传感器在农业、制造和智能家居等领域的广泛部署正在生成多样化的感官数据。一种被称为多感官媒体（mulsemedia）的新媒体格式已经出现，它融合了超越传统视觉和听觉媒体的多种感官模态。6G 无线系统被设想为支持感官物联网，因此探索 mulsemedia 的有效数据融合与通信策略至关重要。在本文中，我们介绍了一种名为 MuSeCo 的任务导向多任务 mulsemedia 通信系统，该系统使用统一的 Perceiver 模型和共形预测开发。这种统一模型可以接受任何感官输入并高效提取潜在语义特征，使其能够适应跨各种人工智能物联网（AIoT）设备的部署。共形预测被用于模态选择与组合，在最小化数据通信开销的同时提高任务准确性。该模型使用跨越四个分类任务的六种感官模态进行训练。仿真和实验表明，它能够有效融合感官模态，显著降低端到端通信延迟和能耗，并在通信受限的系统中保持高准确性。