中文

量子概率机器学习中的通用尺度规律:基于张量网络解释表示与泛化能力

量子物理 2025-03-26 v1 人工智能 信息论 机器学习 math.IT

摘要

解释机器学习(ML)和人工智能领域的表示和泛化能力一直是一个长期存在的问题。本工作贡献于揭示量子概率 ML 中通用尺度规律的出现。我们以矩阵产品态形式的生成式张量网络(GTN)为例,展示在未训练的 GTN(如随机张量网络态)下,负对数似然(NLL)LL 通常随特征数 MM 线性增加,即 LkM+constL \simeq k M + const。这源于“正交灾难”,即量子多体态随 MM 增加倾向于指数级正交。我们揭示,尽管通过训练获取信息,线性尺度规律被负二次校正抑制,导致 LβMαM2+constL \simeq \beta M - \alpha M^2 + const。尺度系数与训练样本数和量子通道数 χ\chi 之间存在对数关系。NLL 对测试(训练)集二次校正项的出现可被视为 GTN 泛化(表示)能力的证据。通过增加 χ\chi 而在训练和测试集之间的 α\alpha 值差异可识别出过参数化。我们进一步研究了量子特征图中的正交性如何关系到量子概率解释的满足,以及 GTN 的表示和泛化能力。揭示量子概率 ML 中的通用尺度规律将是建立在量子概率框架下解释白盒 ML 方案的重要一步。

关键词

引用

@article{arxiv.2410.09703,
  title  = {Universal scaling laws in quantum-probabilistic machine learning by tensor network towards interpreting representation and generalization powers},
  author = {Sheng-Chen Bai and Shi-Ju Ran},
  journal= {arXiv preprint arXiv:2410.09703},
  year   = {2025}
}

备注

5 pages (main text) + 3 pages (appendices), 5 figures (main text) + 4 figures (appendices)