用平衡传播训练 Hopfield 变分自编码器
机器学习
2023-11-28 v1 神经与进化计算
摘要
在专用模拟硬件上，平衡传播是反向传播的一种节能替代方案。尽管有其理论保证，它在人工智能领域的应用仍局限于判别式设定。与此同时，尽管计算需求很高，生成式 AI 正在兴起。在本文中，我们展示了平衡传播在训练变分自编码器（VAE）以进行生成建模中的应用。利用 Hopfield 网络的对称特性，我们提议使用单一模型同时作为编码器和解码器，这可有效将 VAE 实现所需的芯片面积减半，为更高效的模拟硬件配置铺平道路。
引用
@article{arxiv.2311.15047,
title = {Training a Hopfield Variational Autoencoder with Equilibrium Propagation},
author = {Tom Van Der Meersch and Johannes Deleu and Thomas Demeester},
journal= {arXiv preprint arXiv:2311.15047},
year = {2023}
}
备注
Associative Memory & Hopfield Networks in 2023 (NeurIPS 2023 workshop)