面向分割任务的无监督域适应的分层模型合并
计算机视觉与模式识别
2024-09-25 v1 人工智能
多媒体
摘要
模型参数合并作为提升任务性能和鲁棒性的有效策略近年来重新受到关注，但以往工作受限于 ensemble 创建和推理的高成本。本文利用大量可获取的预训练模型，引入一种无需额外成本的模型合并方法。该方法聚焦于合并模型的分层集成，旨在在保持任务特定最终层独特性的同时统一与特征提取主要相关的初始层。这种方法确保所有层的参数一致性，对于提升性能至关重要。此外，它促进了知识的无缝集成，使能够有效合并来自不同数据集和任务的模型。具体而言，我们探讨了在无监督域适应 (UDA) 中应用其可行性，这一领域是模型合并未曾涉足的区域，适用于语义分割和全景分割。实验结果表明，在无需为来自不同数据集的相同架构模型合并的额外成本下，UDA 性能提升显著 ( mIoU)；以及对于采用相同背板但不同架构模型的合并 ( mIoU)。此外，合并语义分割和全景分割模型可使 mPQ 提升 。这些发现在广泛的 UDA 策略、架构和数据集上得到验证。
引用
@article{arxiv.2409.15813,
title = {Layer-wise Model Merging for Unsupervised Domain Adaptation in Segmentation Tasks},
author = {Roberto Alcover-Couso and Juan C. SanMiguel and Marcos Escudero-Viñolo and Jose M Martínez},
journal= {arXiv preprint arXiv:2409.15813},
year = {2024}
}