基于转移熵和 O-信息检测张量网络多类分类中的“grokking”现象
量子物理
2025-09-30 v1 数据分析、统计与概率
摘要
量子增强机器学习，涵盖量子算法和量子启发的经典方法如张量网络，为从复杂高维数据中提取结构提供了有前景的工具。本文研究了应用到三类问题上的矩阵产品态 (MPS) 分类器的训练动力学，分别使用时尚 MNIST 和光谱卫星影像作为代表数据集。我们通过跟踪纠缠熵、局部磁化和模型性能在训练扫过过程中的变化，来探讨“grokking”现象，即泛化在记忆后突然出现。此外，我们采用信息论工具获得更深入的见解：转移熵用于揭示特定标签量子掩码之间的因果依赖关系，而 O-信息捕捉类输出之间从协同关系向冗余关系的转变。我们的结果表明，时尚 MNIST 任务中的 grokking 与强烈的纠缠转变和冗余信息的峰值相吻合，而过拟合的光谱模型保留了协同且有序的行为。这些发现凸显了高阶信息动力学在量子启发学习中的重要性，并强调在多类分类中会出现不同学习行为，为解释量子机器学习体系结构中的泛化提供了一个原则性框架。
引用
@article{arxiv.2507.23346,
title = {Transfer entropy and O-information to detect grokking in tensor network multi-class classification problems},
author = {Domenico Pomarico and Roberto Cilli and Alfonso Monaco and Loredana Bellantuono and Marianna La Rocca and Tommaso Maggipinto and Giuseppe Magnifico and Marlis Ontivero Ortega and Ester Pantaleo and Sabina Tangaro and Sebastiano Stramaglia and Roberto Bellotti and Nicola Amoroso},
journal= {arXiv preprint arXiv:2507.23346},
year = {2025}
}