DA-Cramming：通过依存关系一致性整合增强高性价比语言模型预训练
计算与语言
2026-04-17 v2 人工智能
摘要
由于巨大的计算成本，预训练语言模型对许多研究者而言仍是一项挑战。因此，开发更经济的预训练方法日益受到关注。该领域一项显著进展是 Cramming 技术（Geiping 和 Goldstein，2022），它能在单块 GPU 上于一天内完成 BERT 风格语言模型的预训练。基于这一创新方法，我们提出了依存关系一致性 Cramming（DA-Cramming），这是一种将依存关系一致性信息整合进预训练过程的高效框架。不同于现有在微调阶段利用类似语义信息的方法，我们的方法是一项开创性尝试，专注于在预训练期间借助语义信息增强基础语言理解。我们精心设计了具有四个专用子模型的双阶段预训练工作流程，以在块级别捕获具有代表性的依存关系一致性，并将其有效转化为嵌入以惠及预训练。大量实证结果表明，我们的方法在各任务上显著优于先前方法。
引用
@article{arxiv.2311.04799,
title = {DA-Cramming: Enhancing Cost-Effective Language Model Pretraining with Dependency Agreement Integration},
author = {Martin Kuo and Jianyi Zhang and Dongting Li and Yiran Chen},
journal= {arXiv preprint arXiv:2311.04799},
year = {2026}
}