可瘦身域适应

普通的无人监督域适应方法倾向于以固定的神经网络架构优化模型，这在真实场景中并不实用，因为目标数据通常由不同的资源受限设备处理。因此，促进跨各种设备的架构适应非常必要。在本文中，我们引入了一个简单框架——可瘦身域适应（Slimmable Domain Adaptation），通过权重共享模型库来改进跨域泛化，从中可采样不同容量的模型以适应不同的精度-效率权衡。该框架的主要挑战在于同时提升模型库中众多模型的适应性能。为解决此问题，我们提出了一种随机集成蒸馏（Stochastic EnsEmble Distillation）方法，以充分利用模型库中的互补知识进行模型间交互。然而，考虑到模型间交互与模型内适应之间的优化冲突，我们将现有的双分类器域混淆架构增强为优化分离的三分类器架构。在优化模型库后，通过我们提出的无监督性能评估度量来实现架构适应。在各种资源约束下，我们的框架在多个基准上大幅超越其他竞争方法。同样值得强调的是，即使计算复杂度降低到 $1/64$，我们的框架仍能保持相对于仅源模型的性能提升。代码将发布于 https://github.com/hikvision-research/SlimDA。