中文

精确裸仿真方法在距离 minimization 中的应用。II. 进一步基础

信息论 2024-10-28 v1 math.IT

摘要

约束化的有向距离及其相关广义熵的最小化(respectively最大化)是信息论及其相邻领域如统计学、机器学习、人工智能、信号处理和图案识别中的基本任务。在我们的前一篇论文《A precise bare simulation approach to the minimization of some distances. I. Foundations》中,我们通过一种新型无维度依赖的精确裸(纯)仿真方法获得了此类约束最优解,基本要求是:(i)底层有向距离类型为f-divergence;(ii)该距离可以某种方式与轻尾概率分布相连。本文扩展了该方法,使得可通过新发展的无维度依赖的扩展裸仿真方法解决大量有向距离和广义熵的约束优化问题——以及更多问题,以获得两者的最优值及最优解。在离散且任意维度的设置下,我们几乎不需要对约束集合作任何假设(如凸性),该方法是精确的(即在极限情况下收敛)。例如,我们涵盖了任意f-divergences、Bregman距离、缩放Bregman距离和加权欧几里得距离的约束优化。广泛应用前景亦予以阐述,特别是我们提供了许多近期参考文献,用以在各种不同研究领域中应用所涉及的距离/发散,或可作为跨学科的界面。

关键词

引用

@article{arxiv.2402.08478,
  title  = {A precise bare simulation approach to the minimization of some distances. II. Further Foundations},
  author = {Michel Broniatowski and Wolfgang Stummer},
  journal= {arXiv preprint arXiv:2402.08478},
  year   = {2024}
}

备注

This work has been submitted to the IEEE for possible publication