面向汽车内或分布式应用的高效语义分割解码器
机器学习
2025-10-21 v1
摘要
现代汽车系统利用深度神经网络（DNN）进行语义分割，主要应用于两个关键应用领域：（1）车内应用，即仅在车辆内部运行的DNN，无严格的数据速率限制；（2）分布式应用，即车载端运行的DNN部分与大规模云平台上的另一部分之间存在特定的传输比特率效率约束。通常，两类应用共享相同的图像和源编码器，而各自使用不同的（联合）源和任务解码器。以往的工作利用卷积神经网络进行联合源和任务解码，但未探讨此类基于Transformer的替代方案，如SegDeformer，后者在计算复杂度更高的情况下能实现更佳的性能。本文提出一种用于SegDeformer的联合特征和任务解码方案，从而在计算复杂度更高的情况下，仍能为车内和分布式应用实现更低的计算复杂度。尽管SegDeformer计算需求大，但这种方法能提升云端的可扩展性，同时降低车内的计算复杂度。对于车内应用，在Cityscapes数据集上将帧率（fps）提高了最高达倍（从 fps提升至 fps），在ADE20K数据集上提升了最高达倍（从 fps提升至 fps），相对于不通过源编码器压缩的基于Transformer的基线模型，在平均交并比（mIoU）方面表现相当。对于分布式应用，我们在ADE20K（Cityscapes）数据集上实现了mIoU指标下的SOTA性能，覆盖更广泛的比特率范围，同时仅使用了之前SOTA工作的\%（\%）的云端DNN参数。
引用
@article{arxiv.2510.16747,
title = {An Efficient Semantic Segmentation Decoder for In-Car or Distributed Applications},
author = {Danish Nazir and Gowtham Sai Inti and Timo Bartels and Jan Piewek and Thorsten Bagdonat and Tim Fingscheidt},
journal= {arXiv preprint arXiv:2510.16747},
year = {2025}
}