稠密联想记忆的超参数迁移
机器学习
2026-05-12 v1 机器学习
摘要
稠密联想记忆（DenseAM）是一类极具前景的 AI 架构，由在能量景观上执行时间动力学的神经网络表示。虽然超参数迁移方法在前馈网络中已得到充分研究，但这些方法尚未针对层间和层内共享权重的设定（这在 DenseAM 中很常见）进行开发。此外，DenseAM 使用了在前馈架构中极少使用的快速达到峰值的激活函数。这些方面的交汇使得 DenseAM 成为使用现有超参数迁移方法的极具挑战性的框架。我们的工作启动了针对此类模型的超参数迁移方法的开发。我们推导出了明确的准则，说明在小模型上调优的超参数如何迁移至大规模训练的模型。我们展示了这些理论发现与实证结果之间的极好一致性。
引用
@article{arxiv.2605.10164,
title = {Hyperparameter Transfer for Dense Associative Memories},
author = {Roi Holtzman and Dmitry Krotov and Boris Hanin},
journal= {arXiv preprint arXiv:2605.10164},
year = {2026}
}