面向等变表示学习的软任务感知专家路由

等变表示学习旨在捕捉输入变换在表示空间所引起的变化，而不变表示学习则通过忽略此类变换来编码语义信息。近期研究表明，同时学习这两种类型的表示对下游任务常有益，通常通过采用独立的投影头来实现。然而，这种设计忽略了不变和等变学习之间共享的信息，导致冗余特征学习和模型容量的低效利用。为此，我们引入 Soft Task-Aware Routing（STAR），一种用于投影头的路由策略，将其建模为专家。STAR 诱导专家专注于捕捉共享或任务特定信息，从而减少冗余特征学习。通过观察不变和等变嵌入之间的主Canonical相关性较低，我们验证了这一效果。实验结果显示，在多样化的迁移学习任务上，STAR consistently 实现了性能提升。代码已公开于 https://github.com/YonseiML/star。