面向干预外推的表示识别

可辨识因果表示学习的初衷是在泛化性或鲁棒性方面改进当前的表示学习范式。尽管在可辨识性问题上近期取得了进展，仍需要更多理论结果来展示这些方法在下游任务中的具体优势。本文考虑干预外推任务：预测干预如何影响结果，即便这些干预在训练时未被观测到，并表明可辨识表示即便在干预非线性地影响结果时也能为该任务提供有效解决方案。我们的设定包含一个结果 Y、观测特征 X（由潜特征 Z 的非线性变换生成）以及影响 Z 的外生动作变量 A。干预外推的目标是预测在 A 的训练支持之外的对 A 的干预如何影响 Y。此处，若 A 对 Z 的影响为线性且 Z 对 A 回归的残差具有全支撑，则外推成为可能。由于 Z 是潜变量，我们将干预外推任务与可辨识表示学习结合，称为 Rep4Ex：旨在将观测特征 X 映射到一个允许对 A 进行非线性外推的子空间。我们表明隐藏表示在 Z 空间内可辨识至仿射变换，这足以用于干预外推。该可辨识性由描述 A 对 Z 线性假设的新约束刻画。基于该见解，我们提出一种强制线性不变性约束的方法，其可与任意类型的自编码器结合。我们通过合成实验验证了理论发现，并表明我们的方法能成功预测未观测干预的效应。