OSTA:面向多通道图像语义分割的一次性任务自适应通道选择
计算机视觉与模式识别
2023-05-09 v1
摘要
多通道图像的语义分割是许多应用的基础任务。从原始多通道图像中选择合适的通道组合可提高语义分割精度,并降低数据存储、处理和未来获取的成本。现有通道选择方法通常采用合理的选择过程确定期望的通道组合,然后使用该组合训练语义分割网络。本研究首次将超网剪枝的概念用于整合通道组合选择与语义分割网络训练。基于此概念,提出一种面向多通道图像语义分割的一次性任务自适应(OSTA)通道选择方法。OSTA包含三个阶段,即超网训练阶段、剪枝阶段和微调阶段。六组实验(L7Irish3C、L7Irish2C、L8Biome3C、L8Biome2C、RIT-18和Semantic3D)的结果证明了OSTA的有效性和高效性。OSTA在所有测试中取得了最高分割精度(分别为62.49% (mIoU)、75.40% (mIoU)、68.38% (mIoU)、87.63% (mIoU)、66.53% (mA)和70.86% (mIoU)),甚至超过了穷举测试(即测试所有可能通道组合)的最高精度(分别为61.54% (mIoU)、74.91% (mIoU)、67.94% (mIoU)、87.32% (mIoU)、65.32% (mA)和70.27% (mIoU))。所有这些均可在可预测且相对高效的时长内完成,时长为单独训练分割网络所需时间的101.71%至298.1%。此外,还有一些被认为对若干领域有价值的有趣发现。
引用
@article{arxiv.2305.04766,
title = {OSTA: One-shot Task-adaptive Channel Selection for Semantic Segmentation of Multichannel Images},
author = {Yuanzhi Cai and Jagannath Aryal and Yuan Fang and Hong Huang and Lei Fan},
journal= {arXiv preprint arXiv:2305.04766},
year = {2023}
}