解耦训练：令人沮丧的简易多域学习的回归
机器学习
2024-02-20 v2 计算机视觉与模式识别
信息检索
摘要
多域学习（MDL）旨在训练一个在多个重叠但非完全相同的域上平均风险最小的模型。为应对数据集偏差与域主导问题，已从通过对齐分布以寻求共性来减小域差距、或通过实现域特定塔、门甚至专家来保留差异的角度提出了众多 MDL 方法。MDL 模型正变得愈发复杂，带有精巧的网络架构或损失函数，引入了额外参数并增大了计算成本。本文中，我们提出一种令人沮丧地简易且无超参数的多域学习方法，名为解耦训练（D-Train）。D-Train 是一种三阶段由通用到特定的训练策略：首先在所有域上预训练以预热根模型，然后通过在每个域上拆分为多头进行后训练，最后通过固定骨干网络微调头，使解耦训练实现域独立性。尽管极其简单高效，D-Train 在标准基准至卫星影像与推荐系统应用的各种数据集广泛评估中表现极为出色。
引用
@article{arxiv.2309.10302,
title = {Decoupled Training: Return of Frustratingly Easy Multi-Domain Learning},
author = {Ximei Wang and Junwei Pan and Xingzhuo Guo and Dapeng Liu and Jie Jiang},
journal= {arXiv preprint arXiv:2309.10302},
year = {2024}
}