用于域迁移的可微分权重掩码
计算机视觉与模式识别
2023-10-10 v2 人工智能
机器学习
摘要
计算机视觉中深度学习模型的主要缺陷之一在于其无法以模块化方式保留多源信息。例如，给定一个已在源任务上训练的网络，我们希望在相似但不同的目标任务上重新训练该网络，同时保持其在源任务上的性能。同时，研究者已广泛研究网络权重的模块化，以定位并识别导致给定任务上所观察性能的权重集合。一组工作通过学习并分析权重掩码来研究神经网络权重中诱导的模块化。本文中，我们结合这些领域，研究三种此类权重掩码方法，并分析它们在缓解源任务“遗忘”的同时允许在目标任务上高效微调的能力。我们发现，不同的掩码技术在保留源任务知识而不 adversely 影响目标任务性能方面存在权衡。
引用
@article{arxiv.2308.13957,
title = {Differentiable Weight Masks for Domain Transfer},
author = {Samar Khanna and Skanda Vaidyanath and Akash Velu},
journal= {arXiv preprint arXiv:2308.13957},
year = {2023}
}
备注
Published in Out of Distribution Generalization in Computer Vision (OOD-CV) workshop at ICCV 2023