基于生成式 AI 辅助与多模态提示的免联合训练安全语义通信
图像与视频处理
2023-09-07 v1 机器学习
网络与互联网体系结构
摘要
语义通信（SemCom）有望在达成通信目标的同时降低网络资源消耗。然而，语义编码器与解码器联合训练的计算开销，以及随后在网络设备中的部署问题，却被忽视了。生成式人工智能（GAI）近期的进展提供了一种潜在解决方案。GAI 模型强大的学习能力表明，语义解码器可利用有限的语义信息（如提示）重建源消息，而无需与语义编码器进行联合训练。然而，一个显著挑战是 GAI 多样化生成能力带来的不稳定性。这种不稳定性在文生图等输出中表现明显，限制了 GAI 在需要精确消息恢复的场景（如人脸图像传输）中的直接应用。为解决上述问题，本文提出了一种 GAI 辅助、带多模型提示的 SemCom 系统，用于精确内容解码。此外，针对安全问题，我们引入了由友好干扰机辅助的隐蔽通信应用。该系统借助生成扩散模型，联合优化扩散步数、干扰与发射功率，从而实现源消息的成功且安全传输。
引用
@article{arxiv.2309.02616,
title = {Generative AI-aided Joint Training-free Secure Semantic Communications via Multi-modal Prompts},
author = {Hongyang Du and Guangyuan Liu and Dusit Niyato and Jiayi Zhang and Jiawen Kang and Zehui Xiong and Bo Ai and Dong In Kim},
journal= {arXiv preprint arXiv:2309.02616},
year = {2023}
}