编码器是否可及？
机器学习
2022-10-26 v2
摘要
自编码器的编码器网络是对由解码器张成流形上最近点投影的近似。这一近似的一个问题在于，虽然编码器的输出总是唯一的，但投影可能具有无穷多个值。这意味着自编码器学习到的潜表示可能是误导性的。借助几何测度论，我们引入使用解码器张成流形的 reach（可达半径）来判断对于给定的数据集和解码器是否存在最优编码器的思想。我们发展了该 reach 的局部推广并提出了其数值估计量。我们证明，这使我们能够确定哪些观测可期望具有唯一的、从而可信赖的潜表示。由于我们的局部 reach 估计量是可微的，我们研究了其作为正则化器的使用，并表明这导致学习到的流形上投影比无正则化时更常为唯一的。
引用
@article{arxiv.2206.01552,
title = {Is an encoder within reach?},
author = {Helene Hauschultz and Rasmus Berg Palm. Pablo Moreno-Muños and Nicki Skafte Detlefsen and Andrew Allan du Plessis and Søren Hauberg},
journal= {arXiv preprint arXiv:2206.01552},
year = {2022}
}
备注
11 pages, 10 figures