黑洞与机器学习中的损失地貌
高能物理 - 理论
2023-11-22 v1 机器学习
机器学习
摘要
理解损失地貌是机器学习中的一个重要问题。许多神经网络架构损失函数的一个关键特征，是存在指数级多的低洼局部极小。具有相似能量地貌的物理系统可能提供有用见解。本工作中，我们指出黑洞因黑洞熵的存在自然产生此类地貌。为明确起见，我们考虑弦论中的1/8 BPS黑洞。这些在相应黑洞的微观描述中提供了无穷族的潜在地貌。极小值的计数等同于黑洞微观态计数。此外，这些地貌的极小值确切数目由弦论中的对偶性先验已知。部分极小值由低损失值的路径连接，类似于模式连通性。我们估计找出所有解所需的运行次数。初步探索表明随机梯度下降能找到相当一部分极小值。
引用
@article{arxiv.2306.14817,
title = {Black holes and the loss landscape in machine learning},
author = {Pranav Kumar and Taniya Mandal and Swapnamay Mondal},
journal= {arXiv preprint arXiv:2306.14817},
year = {2023}
}
备注
32 pages, 4 figures