MoETTA: 基于MoE-LayerNorm的混合分布迁移测试时适应

测试时适应（TTA）已被证明在缓解单域分布迁移带来的性能下降方面非常有效。然而，实际部署常常涉及混合分布迁移，其中测试样本受到多种可能且可能相互冲突的域因素的影响，这即使是最先进的TTA方法也面临重大挑战。现有方法的一个关键局限是依赖统一的适应路径，无法考虑最优梯度方向在不同域中可能差异巨大的事实。此外，当前基准仅关注人工或均匀迁移，无法捕捉现实世界异构混合分布迁移的复杂性。为此，我们提出MoETTA，一种新型基于熵的TTA框架，集成混合专家（MoE）架构。与对所有测试样本强制执行单一参数更新规则不同，MoETTA引入一组结构上解耦的专家，使沿不同梯度方向进行适应成为可能。这种设计允许模型通过灵活且解耦的参数更新来更好地适应异构迁移。为模拟真实的部署条件，我们引入两个新的基准：potpourri和potpourri+。虽然经典设置仅关注人工损坏，但potpourri涵盖更广泛的域迁移——包括自然、艺术和对抗性扭曲，捕捉更真实的部署挑战。此外，potpourri+进一步包括源域样本，以评估对灾难性遗忘的鲁棒性。广泛的实验在三个混合分布迁移设置下表明，MoETTA一致优于强大的基线方法，建立了SOTA性能，凸显了通过专家层次多样性建模多个适应方向的好处。