面向增强现实的涌现通信
信号处理
2023-08-16 v1 计算与语言
摘要
移动增强现实（MAR）被广泛认为是数字孪生与元宇宙的普适接口之一，对时延、算力和能效有着极高要求。现有实现 MAR 的方案结合了边缘计算、云计算和第五代（5G）网络等多种技术。然而，视觉数据固有的通信时延明显限制了体验质量（QoE）。为应对该挑战，我们提出一种涌现语义通信框架，以学习 MAR 中的通信协议。具体而言，我们通过改进的 Lewis 信令博弈训练两个智能体，使其自发涌现离散通信协议。基于该协议，两个智能体可在含噪信道中通过极小数据量的消息交流视觉数据的抽象概念，但这会导致消息错误。为更好地模拟真实场景，我们在训练过程中引入了信道不确定性。实验表明，所提方案相比 MAR 中使用的传统物体识别对未见物体具有更好的泛化能力，并能通过利用小尺寸消息有效提升通信效率。
引用
@article{arxiv.2308.07342,
title = {Emergent communication for AR},
author = {Ruxiao Chen and Shuaishuai Guo},
journal= {arXiv preprint arXiv:2308.07342},
year = {2023}
}