基于 ConvLoRA 和 AdaBN 的自训练域自适应
计算机视觉与模式识别
2024-02-08 v1
摘要
现有的域自适应（DA）方法通常涉及在源域上进行预训练并在目标域上进行微调。对于多目标域自适应，为每个目标域保留所有预训练模型参数的专用/独立微调网络成本过高。为解决这一局限性，我们提出了卷积低秩自适应（ConvLoRA）。ConvLoRA 冻结预训练模型权重，向卷积层添加可训练的低秩分解矩阵，并通过这些矩阵反向传播梯度，从而大幅减少可训练参数的数量。为进一步增强自适应效果，我们利用自适应批归一化（AdaBN）计算特定于目标的运行统计量，并将其与 ConvLoRA 结合使用。我们的方法可训练参数更少，在包含脑部 MRI 图像的 Calgary-Campinas 数据集分割任务上进行测试时，其表现优于或等同于大型独立微调网络（可训练参数少于总基础模型的 0.9%）。我们的方法简单而有效，可应用于任何使用卷积层和批归一化层的基于深度学习的架构。代码地址：https://github.com/aleemsidra/ConvLoRA。
引用
@article{arxiv.2402.04964,
title = {ConvLoRA and AdaBN based Domain Adaptation via Self-Training},
author = {Sidra Aleem and Julia Dietlmeier and Eric Arazo and Suzanne Little},
journal= {arXiv preprint arXiv:2402.04964},
year = {2024}
}