通过投影实现免调参的解耦

在表示学习和非线性降维中，学习“解耦”的潜在变量引起了极大的兴趣，其中每个子坐标几乎唯一地控制观测数据的一个方面。虽然许多正则化方法已在变分自编码器上被提出，但由于无监督的性质，需要在解耦和重构精度损失之间进行启发式调参——没有原则性的方法来确定正则化的最优权重。为了完全绕过正则化，我们考虑一种投影策略：修改典型的高斯编码器，在高斯均值上增加一层缩放和旋转，使得潜在子坐标之间的边际相关性精确为零。这在理论上实现了最大程度的解耦，因为一个潜在子坐标与随其余子坐标变化的观测值之间的零互相关性保证了这一点。与正则化不同，额外的投影层不影响先前编码器层的灵活性，导致表达能力几乎没有损失。这种方法在实践中易于实现。我们的数值实验展示了非常好的性能，且无需调参。