随机 WOO 发布版块顺序的学习
机器学习
2026-03-10 v2 计算与语言
摘要
我们利用页面嵌入探讨了 5461 份随机化 WOO 文档（荷兰信息自由披露文件）中的页面排序问题。这些文档是包含电子邮件、法律文本和电子表格等异构集合，编译成单个 PDF，其中语义排序信号不可靠。我们比较了五种方法，包括指针网络、seq2seq 变换器和专用成对排序模型。表现最好的方法成功地将文档排序至 15 页，Kendall's tau 从短文档（2-5 页）为 0.95，延伸至 15 页文档为 0.72。我们观察到两个意外失效：seq2seq 变换器在长文档上无法泛化（Kendall's tau 从 2-5 页的 0.918 下降至 21-25 页的 0.014），课程学习在长文档上不如直接训练差 39%。消融研究表明，学习的位置编码是 seq2seq 失败的一个 Contributing 因素，尽管这种降级在所有编码变体中都持续存在，表明有多个相互作用的原因。注意力模式分析揭示，短文档和长文档需要根本不同的数据排序策略，这解释了为何课程学习失败。模型专业化在更长的文档上实现了显著的改进（+0.21 tau）。
关键词
引用
@article{arxiv.2602.11040,
title = {Learning Page Order in Shuffled WOO Releases},
author = {Efe Kahraman and Giulio Tosato},
journal= {arXiv preprint arXiv:2602.11040},
year = {2026}
}