无监督最小二乘中的鞍点
机器学习
2021-04-13 v1 机器学习
摘要
本文阐明了深度自编码神经网络背景下无监督最小二乘的风险景观。我们正式建立了无监督最小二乘与主流形之间的等价性。这一联系为均方误差下自编码的风险景观提供了见解，特别是所有非平凡临界点均为鞍点。寻找鞍点本身就很困难，过完备自编码带来了额外的挑战，即鞍点是退化的。在此背景下，我们讨论了自编码器的正则化，特别是瓶颈、去噪和收缩自编码，并提出了一种新的优化策略，可视为一种特定形式的收缩正则化。
引用
@article{arxiv.2104.05000,
title = {Saddlepoints in Unsupervised Least Squares},
author = {Samuel Gerber},
journal= {arXiv preprint arXiv:2104.05000},
year = {2021}
}