中文

层次化知识追踪的电路复杂度及其对日志精度变换器的启示

机器学习 2026-03-26 v1 人工智能

摘要

知识追踪模型追踪概念之间相互关联的掌握程度,往往以先决条件组织。我们从电路复杂度视角分析深层概念层次结构上的先决条件传播,以澄清关于变换器风格计算在深层概念层次结构上可证明的内容。利用最近结果表明日志精度变换器位于 logspace-unifom TC0\mathsf{TC}^0 中的,我们形式化了包括递归多数掌握传播在内的先决条件树任务。无条件地,递归多数传播通过深度为 O(logn)O(\log n) 的有限 fan-in 电路属于 NC1\mathsf{NC}^1,而将其与 uniform TC0\mathsf{TC}^0 分离需要取得重大进展。若施加单调性限制,我们获得无条件的屏障:交替 ALL/ANY 先决条件树导致单调阈值电路呈现严格的深度层次。经验上,训练递归多数树的变换器编码器收敛于排列不变的捷径;显式结构本身并不能阻止这种现象,但通过对中间子树的辅助监督,可诱导结构依赖的计算并在深度 3--4 处实现近乎完美的准确率。这些发现动机结构感知目标和迭代机制,以实现深层层次结构上先决条件敏感的知识追踪。

关键词

引用

@article{arxiv.2603.23823,
  title  = {Circuit Complexity of Hierarchical Knowledge Tracing and Implications for Log-Precision Transformers},
  author = {Naiming Liu and Richard Baraniuk and Shashank Sonkar},
  journal= {arXiv preprint arXiv:2603.23823},
  year   = {2026}
}