自编码器架构下分布外数据的几何不稳定性
机器学习
2022-01-31 v1
摘要
我们研究在 MNIST 上训练的一类自编码器所学习的映射,并在按十种不同分布随机选取像素值生成的十个不同数据集上进行评估。具体而言,我们研究由自编码器权重矩阵在每个训练与评估点所定义的雅可比矩阵的特征值。对于足够高的潜维度,我们发现每个自编码器将所有评估数据集重建为相似的\emph{广义字符},但该重建的\emph{广义字符}随自编码器不同而变化。特征值分析表明,即便对所有分布外数据集重建图像看似 MNIST 字符,也并非所有都具有接近 MNIST 字符潜表示的潜表示。总体而言,特征值分析展示了自编码器作为分布外输入上的函数以及在同一组输入上跨架构的极大几何不稳定性。
引用
@article{arxiv.2201.11902,
title = {Geometric instability of out of distribution data across autoencoder architecture},
author = {Susama Agarwala and Ben Dees and Corey Lowman},
journal= {arXiv preprint arXiv:2201.11902},
year = {2022}
}