ALBERT 的情感稳定性如何？基于随机权重平均在情感分析任务上的鲁棒性测试
计算与语言
2021-11-19 v1 机器学习
摘要
尽管现代语言模型取得了成功，它们却十分脆弱。即便其训练流程的微小改动也可能导致意想不到的结果。我们通过考察 ALBERT（arXiv:1909.11942）与随机权重平均（SWA）（arXiv:1803.05407）——一种廉价的集成方式——在情感分析任务（SST-2）上的鲁棒性来研究这一现象。具体而言，我们通过 CheckList 准则（arXiv:2005.04118）分析 SWA 的稳定性，考察仅随机种子不同的模型在错误上的一致性。我们假设 SWA 更稳定，因为它集成了沿梯度下降轨迹取得的模型快照。我们通过以 Fleiss' Kappa（Fleiss, 1971）与重叠率分数比较模型的错误来量化稳定性。我们发现 SWA 总体上降低了错误率；然而这些模型仍受其各自特有偏置的困扰（依据 CheckList）。
引用
@article{arxiv.2111.09612,
title = {How Emotionally Stable is ALBERT? Testing Robustness with Stochastic Weight Averaging on a Sentiment Analysis Task},
author = {Urja Khurana and Eric Nalisnick and Antske Fokkens},
journal= {arXiv preprint arXiv:2111.09612},
year = {2021}
}
备注
Accepted at the second workshop on Evaluation & Comparison of NLP Systems, co-located at EMNLP 2021. Cite ACL version