论自然语言处理中的“科学债务”：预训练语言模型研究亟需更严谨
计算与语言
2023-06-06 v1
摘要
这篇基于证据的观点论文批评了当前预训练语言模型（PLM）文献中的研究实践。尽管近期通过日益更好的预训练语言模型取得了快速进展，当前 PLM 研究实践常常混淆模型改进的不同可能来源，而未在可比条件下对不同的模型进行恰当的消融研究和原则性比较。这些做法（i）使我们难以理解在何种情况下应使用何种预训练方法；（ii）阻碍可复现性和贡献归属；（iii）导致难以理解：“每个因素究竟如何贡献于我们今天的进展？”我们通过重新审视 BERT 相对于其基线 ELMo 和 GPT-1 的成功提供了一个例证，并证明——在基线被调到相似程度的 comparable 条件下——这些基线（乃至更简单的变体）实际上可以取得与 BERT 竞争或更好的性能。这些发现展示了如何解耦模型改进的不同因素可以带来有价值的新见解。我们以鼓励并激励这一研究路线、加速迈向更好且更系统地理解当今基础模型进展驱动因素的建议作结。
引用
@article{arxiv.2306.02870,
title = {On "Scientific Debt" in NLP: A Case for More Rigour in Language Model Pre-Training Research},
author = {Made Nindyatama Nityasya and Haryo Akbarianto Wibowo and Alham Fikri Aji and Genta Indra Winata and Radityo Eko Prasojo and Phil Blunsom and Adhiguna Kuncoro},
journal= {arXiv preprint arXiv:2306.02870},
year = {2023}
}
备注
Accepted at ACL 2023