利用确定性投影信念网络改进自动编码
机器学习
2023-09-15 v1
摘要
本文中，我们利用确定性投影信念网络（D-PBN）的独特性质，充分发挥可训练复合激活函数（TCA）的优势。D-PBN 是一种通过前馈神经网络“反向回溯”运作的自动编码器。TCA 是具有复杂单调递增形状的激活函数，可改变数据分布，使随后的线性变换更为有效。由于 D-PBN 通过“反向回溯”运作，TCA 在重构过程中被反转，从而恢复数据的原始分布，因此在分析与重构中均能利用给定的 TCA。本文表明，带有 TCA 的 D-PBN 自动编码器可显著优于标准自动编码器，包括变分自动编码器。
引用
@article{arxiv.2309.07481,
title = {Improved Auto-Encoding using Deterministic Projected Belief Networks},
author = {Paul M Baggenstoss},
journal= {arXiv preprint arXiv:2309.07481},
year = {2023}
}