模型诊断的可靠性如何?
计算与语言
2022-02-01 v1 机器学习
摘要
在深入理解模型行为的追求中,近期出现了开发一系列探针以在准确率或 BLEU 等简单指标之外诊断模型的热潮。本文退一步提出一个重要且及时的问题:这些诊断在提供对模型及训练设置的洞察方面究竟有多可靠?我们批判性地考察了三种近期用于预训练语言模型的诊断测试,发现基于似然与基于表示的模型诊断尚不如先前所设想的那般可靠。基于我们的实证发现,我们还为从业者和研究者给出了建议。
引用
@article{arxiv.2105.05641,
title = {How Reliable are Model Diagnostics?},
author = {Vamsi Aribandi and Yi Tay and Donald Metzler},
journal= {arXiv preprint arXiv:2105.05641},
year = {2022}
}
备注
ACL 2021 Findings