迷失潜空间：解耦模型与组合泛化的挑战

近期研究表明，具有高度解耦表示的生成模型无法泛化到生成因子值未见过的组合。这些发现与早前研究显示的相比纠缠表示在训练分布外设定中性能更优相矛盾。此外，尚不清楚所报告的失败是由于（a）编码器未能将新组合映射到潜空间的正确区域，还是（b）新组合被正确映射但解码器/下游过程无法为未见组合渲染正确输出。我们通过在一组数据集与训练设定上测试若干模型来考察这些可能。我们发现（i）当模型失败时，其编码器也未能将未见组合映射到潜空间的正确区域；（ii）当模型成功时，要么因为测试条件未排除足够多的样本，要么因为被排除的生成因子决定了输出图像的独立部分。基于这些结果，我们认为要正确泛化，模型不仅需要捕捉变异因子，还需理解如何反转用于生成数据的生成过程。