分割问题的迁移学习：选对编码器并跳过解码器
计算机视觉与模式识别
2022-08-01 v1 人工智能
摘要
复用最初在不同数据上训练的模型以提升下游任务性能是一种常见做法。尤其在计算机视觉领域，ImageNet 预训练权重已成功用于多种任务。本文中，我们研究迁移学习对分割问题的影响，分割问题是可用编码器-解码器架构解决的逐像素分类问题。我们发现迁移学习解码器无助于下游分割任务，而迁移学习编码器则确实有益。我们证明解码器预训练权重可能带来更快收敛，但无法改善整体模型性能，因为使用随机初始化解码器亦可获得等价结果。然而，我们表明复用分割或重建任务上训练的编码器权重，比复用分类任务上训练的编码器权重更有效。该发现意味着，对下游分割问题使用 ImageNet 预训练编码器并非最优。我们还提出一种带多重自重建任务的对比自监督方法，可在无分割标签时为分割问题中的迁移学习提供适用的编码器。
引用
@article{arxiv.2207.14508,
title = {Transfer Learning for Segmentation Problems: Choose the Right Encoder and Skip the Decoder},
author = {Jonas Dippel and Matthias Lenga and Thomas Goerttler and Klaus Obermayer and Johannes Höhne},
journal= {arXiv preprint arXiv:2207.14508},
year = {2022}
}