群熵与镜像二义性：面向机器学习的灵活镜像梯度更新方法

我们引入了一个综合性的理论和算法框架，将形式群论和群熵与现代机器学习相结合，为无限灵活的镜像梯度（Mirror Descent, MD）优化算法开辟了道路。我们的方法利用群熵的丰富结构，这些熵是由群组成法则支配的广义熵函数，涵盖并显著扩展了所有追踪形式的熵，如香农、Tsallis 和 Kaniadakis 系列。通过在 MD 中利用群理论镜像图（或链接函数），表示为多参数广义对数及其逆函数（群指数），我们实现了高度灵活和可适应的 MD 更新，可针对不同的数据几何和统计分布进行定制。为此，我们引入“镜像二义性”的概念，允许我们在特定学习率约束下无缝切换或互换群理论链接函数及其逆函数。通过调谈或学习群对数的超参数，可使模型适应训练分布的统计特性，同时通过精细调谐确保具有可取的收敛特性。这一普遍性不仅提供了更大的灵活性和改进的收敛特性，还为机器学习和深度学习的应用开辟了新视角，通过扩充正则化器和自然梯度算法的设计。我们在大规模单纯形约束二次规划问题上广泛评估了所提出更新方法的有效性、鲁棒性和性能。