面向自动驾驶的基于重要性感知图像分割的语义通信
网络与互联网体系结构
2024-01-19 v1 计算机视觉与模式识别
摘要
本文研究自动驾驶中基于图像分割的语义通信问题。在真实交通场景中，检测关键目标（例如车辆、行人和障碍物）比检测其他目标对保障驾驶安全更为关键。因此，我们提出一种面向车辆图像分割的语义通信系统，称为 VIS-SemCom，其中传输重要目标的图像分割特征以减少传输冗余。首先，为准确提取图像语义，我们开发了一种基于 Swin Transformer 架构的语义编解码器，该架构扩大了感受野从而提高了分割精度。其次，我们提出一种多尺度语义提取方案，通过为不同分辨率的特征分配 Swin Transformer 块的数量，从而突出重要目标的精度。此外，引入重要性感知损失以强调重要目标，并提出在线困难样本挖掘（OHEM）策略以处理数据集中的小样本问题。实验结果表明，与传统传输方案相比，所提出的 VIS-SemCom 在 60% 的平均交并比下可实现近 6 dB 的编码增益，在 60% 的平均交并比下最多可减少 70% 的传输数据量，并将重要目标的分割交并比提高 4%。
引用
@article{arxiv.2401.10153,
title = {Importance-Aware Image Segmentation-based Semantic Communication for Autonomous Driving},
author = {Jie Lv and Haonan Tong and Qiang Pan and Zhilong Zhang and Xinxin He and Tao Luo and Changchuan Yin},
journal= {arXiv preprint arXiv:2401.10153},
year = {2024}
}
备注
10 pages, 8 figures