良性自编码器
机器学习
2023-08-29 v4 人工智能
摘要
生成式人工智能（AI）近期的进展依赖于高效的数据表示，常采用编码器-解码器架构。我们形式化了寻找最优编码器-解码器对这一数学问题，并刻画了其解，称之为“良性自编码器”（BAE）。我们证明 BAE 将数据投影到一流形上，该流形的维数是生成问题的最优可压缩维数。我们强调了 BAE 与 AI 中若干近期进展之间的惊人联系，如条件 GAN、上下文编码器、稳定扩散、堆叠自编码器，以及生成模型的学习能力。作为示例，我们展示 BAE 如何找到最优的低维潜表示，从而在分布偏移下提升判别器性能。通过压缩“恶性”数据维度，BAE 带来了更平滑且更稳定的梯度。
引用
@article{arxiv.2210.00637,
title = {Benign Autoencoders},
author = {Semyon Malamud and Teng Andrea Xu and Antoine Didisheim},
journal= {arXiv preprint arXiv:2210.00637},
year = {2023}
}
备注
This paper replaces and subsumes arXiv:2110.08884