无关结构的课程学习策略用于文档理解：基于文本和多模态的实证研究
计算与语言
2026-02-26 v1 人工智能
机器学习
摘要
我们探讨了渐进式数据调度——一种逐步增加训练数据暴露量（33%→67%→100%）的课程学习策略——是否在不同架构的文档理解模型上产生持续的效率提升。通过在FUNSD和CORD基准上评估BERT（文本-only，1.1亿参数）和LayoutLMv3（多模态，1.26亿参数），我们确定该调度方案将墙钟训练时间约减少33%，相当于数据等效训练轮数的减少（从6.67降至10.0）。为消除课程效应与计算量减少的混淆，我们引入了匹配计算基线（Standard-7），控制总梯度更新次数。在FUNSD数据集上，课程学习显著优于匹配计算基线（BERT ΔF1=+0.023, p=0.022, dz=3.83），证明了容量受限模型中存在真实的调度优势。相比，LayoutLMv3未观察到类似优势，其多模态表征已提供足够的归纳偏置。在CORD数据集上，所有条件均达到相当的F1分数（≥0.947），无论调度方式如何，表明性能已达到平台期。对渐进式、两阶段、逆向和随机节奏的消除实验确认，效率提升源于数据量减少而非排序方式。综上，这些发现表明，渐进式调度是跨模型族可靠的计算量减少策略，而课程学习的特定优势取决于模型容量与任务复杂度之间的相互作用。
引用
@article{arxiv.2602.21225,
title = {Architecture-Agnostic Curriculum Learning for Document Understanding: Empirical Evidence from Text-Only and Multimodal},
author = {Mohammed Hamdan and Vincenzo Dentamaro and Giuseppe Pirlo and Mohamed Cheriet},
journal= {arXiv preprint arXiv:2602.21225},
year = {2026}
}