一种因果启发的用于领域泛化的早分支结构

学习领域不变的语义表示对于实现领域泛化 (DG) 至关重要，领域泛化要求模型在未见过的目标领域上表现良好。一个关键挑战是标准训练常常导致语义特征和领域特定特征纠缠在一起。先前的工作建议从因果视角来形式化该问题，并通过强制因果（即语义）特征与非因果（即领域特定）特征之间的边际独立性来解决纠缠问题。尽管其思路简洁，但仅基于边际独立的基本思想可能不足以识别因果特征。通过 d-分离，我们观察到因果特征可以进一步被表征为在给定对象的条件下独立于领域，并据此提出以下两种策略作为基本框架的补充。首先，该观察隐含地表明，对于同一对象，因果特征不应与非因果特征相关联，这揭示了用共享的基础特征提取器和两个轻量级预测头来获取这两类特征的常见做法可能并不合适。为满足该约束，我们提出了一种简单的早分支结构，其中因果和非因果特征获取分支共享前几个块，随后分叉，以实现更好的结构设计；其次，该观察表明，对于同一对象，因果特征在不同领域间保持不变。为此，我们建议应将数据增强纳入框架以更好地刻画因果特征，并进一步提出了一种有效的随机领域采样方案来完成此任务。理论和实验结果表明，这两种策略对基于边际独立的基本框架是有益的。代码可在 \url{https://github.com/liangchen527/CausEB} 获取。