单域泛化的双层优化

从单个标记源域泛化到在训练期间没有任何目标数据访问的未知目标域，是鲁棒机器学习中的一个根本性挑战。我们针对这一少探索的设置提出BiSDG，即一种双层优化框架，显式地将任务学习与域建模解耦。BiSDG 通过对源数据进行保持标签的变换来构建代理域，以模拟分布偏移。为捕获域特定的上下文，我们提出一种域提示编码器，生成轻量级的调制信号，通过特征线性调制产生增强特征。学习过程形式化为双层优化问题：内层目标在固定提示下优化任务性能，而外层目标通过更新域提示编码器来最大化跨代理域的泛化。我们进一步开发了一种实用的梯度近似方案，使双层训练能够在无需二阶导数的情况下高效进行。在各种SGD基准测试上进行的广泛实验表明，BiSDG 一致地优于先前方法，在SDG设置下取得了新的最佳性能。