具有距离优化自适应步长的梯度流编码

自编码器模型使用编码器将数据样本映射到较低维潜空间，然后使用解码器将潜空间表示映射回数据空间。它隐式地依赖编码器来近似解码器网络的反函数，从而可将样本忠实映射到潜空间并从潜空间映射回来。这种近似可能导致次优的潜空间表示。在本工作中，我们研究一种仅解码器方法，利用梯度流在潜空间中对数据样本进行编码。梯度流基于给定的解码器定义，旨在通过优化为任意给定样本找到最优潜空间表示，从而无需通过编码器进行近似反演。通过常微分方程（ODE）实现梯度流，我们利用伴随方法训练给定的解码器。我们进一步通过经验表明，伴随方法中代价高昂的积分可能并非完全必要。此外，我们提出了该方法的一个 $2^{nd}$ 阶 ODE 变体，其近似 Nesterov 加速梯度下降，具有更快的每迭代收敛速度。常用的 ODE 求解器可能因 ODE 的刚性而对积分步长相当敏感。为克服梯度流编码的敏感性，我们采用一种自适应求解器，优先在每步积分中最小化损失。我们将所提方法与自编码模型进行比较评估。在我们的实验中，GFE 显示出比自编码模型高得多的数据效率，这对于数据稀缺的应用至关重要。