FlatFormer：基于认知偏差注入的平面 Transformer 知识追踪模型
人工智能
2025-12-09 v1 信息论
math.IT
摘要
知识追踪 (KT) 模型面临一个关键的“性能-复杂度陷阱”：捕捉类似学习会话与记忆衰减等复杂认知动态，通常需要深层次的层次结构架构，进而导致实际部署时的计算成本高昂。为解决此问题，本文提出 FlatFormer，一种基于 novel 设计范式“信息注入优于结构堆叠”的精简架构。不同于参数繁重的层次模型，FlatFormer 利用标准的平面 Transformer 辅以两种轻量级注入机制：(i) 一种将可学习的会话标识符与固定正弦步嵌入相结合的混合输入编码策略；(ii) 一种集成到注意力 logits 中的预计算幂律偏差，以显式建模遗忘曲线。广泛的实验在四个大型数据集 (如 EdNet、Junyi) 上进行，结果表明 FlatFormer 实现了最先进的性能。例如，在 EdNet 数据集上，相较于最强的层次基线 (HiTSKT)，其绝对 AUC 提升 8.3%，而参数使用不足原来的 15%，推理速度约为原来的三倍。这些结果验证了高认知保真度不必要求复杂的架构结构。
引用
@article{arxiv.2512.06629,
title = {FlatFormer: A Flat Transformer Knowledge Tracing Model Based on Cognitive Bias Injection},
author = {Xiao-li Xia and Hou-biao Li},
journal= {arXiv preprint arXiv:2512.06629},
year = {2025}
}
备注
36 pages, 14 figures,Table 5