基于隐空间贝叶斯优化的变分自编码器训练轨迹优化方法
机器学习
2022-07-04 v1 机器学习
摘要
变分自编码器(VAE)等无监督和半监督机器学习方法因其在解耦表示方面的能力以及为复杂实验数据的分类与回归寻找隐流形的能力,已广泛应用于物理、化学和材料科学的多个领域。与其他机器学习问题一样,VAE需要超参数调优,例如平衡Kullback-Leibler(KL)项与重构项。然而,训练过程以及所得流形的拓扑与连通性不仅取决于超参数,还取决于其在训练过程中的演化。由于在高维超参数空间中对训练代价昂贵的模型进行穷举搜索效率低下,本文探索了一种隐空间贝叶斯优化(zBO)方法,用于无监督和半监督机器学习的超参数轨迹优化,并以具有旋转不变性的联合VAE为例进行了演示。我们展示了该方法在寻找MNIST和等离激元纳米颗粒材料系统实验数据的联合离散与连续旋转不变表示中的应用。我们广泛讨论了所提方法的性能,其可用于任何其他机器学习模型的高维超参数调优或轨迹优化。
引用
@article{arxiv.2207.00128,
title = {Optimizing Training Trajectories in Variational Autoencoders via Latent Bayesian Optimization Approach},
author = {Arpan Biswas and Rama Vasudevan and Maxim Ziatdinov and Sergei V. Kalinin},
journal= {arXiv preprint arXiv:2207.00128},
year = {2022}
}
备注
32 pages, including 11 figures in the main text and Appendixes with 2 figures. arXiv admin note: text overlap with arXiv:2108.12889