Softmax 作为拉格朗日-Legendrian 海岸
机器学习
2025-11-18 v1
摘要
本文为机器学习与现代微分几何提供了首个桥梁。我们表明，由 softmax 实现的从 logits 到概率的步骤可建模为几何界面：两个由势函数生成的保守描述（分别来自负熵和 log-sum-exp）在接触屏幕（概率单纯形）上的 Legendrian “海岸”相遇。偏置移不变性表现为屏幕上的 Reeb 流，而 Fenchel-Young 等价/KL 间隙提供了到海岸的可计算距离。我们在二分类和三分类案例中进行推导，以便具体化图景，并概述下一步的机器学习工作：紧凑 logit 模型（射影或球面）、全局不变量，以及与信息几何的联系，其中屏幕上的动力学表现为复制子流。
引用
@article{arxiv.2511.11573,
title = {Softmax as a Lagrangian-Legendrian Seam},
author = {Christopher R. Lee-Jenkins},
journal= {arXiv preprint arXiv:2511.11573},
year = {2025}
}