一种简易零样本学习组合：纹理敏感语义分割网络IceHrNet与进阶风格迁移学习策略
计算机视觉与模式识别
2023-10-03 v1
摘要
我们提出了一种利用风格迁移实现零样本语义分割的简易方法。在此情形下，我们成功使用了一个医学影像数据集（血细胞图像）来训练用于河流冰语义分割的模型。首先，我们利用固定相机构建了覆盖河流完整融冰过程的河流冰语义分割数据集IPC_RI_SEG。其次，提出了一种名为IceHrNet的高分辨率纹理融合语义分割网络。该网络以HRNet为主干，并添加ASPP与Decoder分割头以保留低级纹理特征，实现精细语义分割。最后，提出了一种简单有效的进阶风格迁移学习策略，可基于跨域语义分割数据集进行零样本迁移学习，在无目标训练数据集的情况下对河流冰语义分割取得了87% mIoU的实用效果（无风格化时为25% mIoU，常规风格化时为65% mIoU，我们的策略提升了22%）。实验表明，IceHrNet在聚焦于纹理的数据集IPC_RI_SEG上优于现有最优方法，并在聚焦于形状的河流冰数据集上取得了优异结果。在零样本迁移学习中，IceHrNet相较其他方法提升了2个百分点。我们的代码与模型发布于https://github.com/PL23K/IceHrNet。
引用
@article{arxiv.2310.00310,
title = {An easy zero-shot learning combination: Texture Sensitive Semantic Segmentation IceHrNet and Advanced Style Transfer Learning Strategy},
author = {Zhiyong Yang and Yuelong Zhu and Xiaoqin Zeng and Jun Zong and Xiuheng Liu and Ran Tao and Xiaofei Cong and Yufeng Yu},
journal= {arXiv preprint arXiv:2310.00310},
year = {2023}
}
备注
12 pages, 11 figures, submitted to Journal of Hydrology