受限玻尔兹曼机训练后的基本工作区间、超参数微调与玻璃性：面向可解释复制理论的探讨
无序系统与神经网络
2024-06-17 v1 统计力学
机器学习
摘要
我们考虑具有二值可见层和高斯隐藏层的受限玻尔兹曼机（RBM），其通过由单个基准模式的带噪声实现构成的无标签数据集进行训练。我们发展了统计力学框架以描述该网络的生成能力，利用复制技巧并假设底层序参数（即复制对称性）自平均。具体而言，我们概述了有效控制参数（例如要训练的权重数目与正则化参数的比例），通过调整这些参数可获得不同质样的工作区间。进一步，我们提供了关于在超参数空间中存在副区域（sub-region）内发生复制对称性破缺的解析与数值证据。
引用
@article{arxiv.2406.09924,
title = {Fundamental operating regimes, hyper-parameter fine-tuning and glassiness: towards an interpretable replica-theory for trained restricted Boltzmann machines},
author = {Alberto Fachechi and Elena Agliari and Miriam Aquaro and Anthony Coolen and Menno Mulder},
journal= {arXiv preprint arXiv:2406.09924},
year = {2024}
}