迈向无数据域泛化

本工作中，我们探究域泛化（DG）与无数据学习间未被探索的交叉点。具体地，我们解决如下问题：在缺乏源域与目标域数据的情况下，如何将训练于不同源域的模型中所含知识合并为单一模型，使其对未见目标域具有良好泛化能力？能应对域偏移的机器学习模型对于数据分布常变化的真实场景至关重要。先前的 DG 方法通常依赖源域数据，因而不适用于隐私化的去中心化数据。我们定义了新颖的无数据域泛化（DFDG）问题，这是一种实用设定：可获得分别训练于源域的模型而非原始数据集，并研究在此情形下如何有效解决域泛化问题。我们提出 DEKAN，一种从可用教师模型中提取并融合域特定知识至对域偏移鲁棒的学生模型的方法。我们的实证评估证明了方法的有效性，其以显著优于无数据知识蒸馏与集成基线的方式取得了 DFDG 上的首个 SOTA 结果。