视频监控的少样本语义编码与解码
计算机视觉与模式识别
2025-05-13 v1 人工智能
摘要
随着视频监控摄像机数量和分辨率的不断增长，传输和存储监控视频的负担日益增大。传统基于香浅理论的通信方法正面临优化瓶颈。语义通信作为一种新兴的通信方法，期望突破这些瓶颈，减少视频的存储和传输消耗。现有的语义解码方法通常需要大量样本来训练每个场景的神经网络，这既耗时又费力。在本研究中，提出了一种针对监控视频的语义编码和解码方法。首先，提取草图作为语义信息，提出了草图压缩方法以减少语义信息的比特率。随后，提出了一种图像翻译网络，用于将草图转换为参考帧的视频帧。最后，提出了一种少样本草图解码网络，用于从草图重建视频。实验结果表明，所提方法的视频重建性能显著优于基准方法。草图压缩方法能够有效降低语义信息的存储和传输消耗，同时对视频质量影响有限。所提方法为仅需少量训练样本即可适用于每个监控场景的语义编码和解码方法提供了一种新颖的方案，从而提高了语义通信系统的实用性。
引用
@article{arxiv.2505.07381,
title = {Few-shot Semantic Encoding and Decoding for Video Surveillance},
author = {Baoping Cheng and Yukun Zhang and Liming Wang and Xiaoyan Xie and Tao Fu and Dongkun Wang and Xiaoming Tao},
journal= {arXiv preprint arXiv:2505.07381},
year = {2025}
}