超越统计显著性：量化多语言与多任务 NLP 评估中的不确定性与统计变异性

我们引入一组基于重采样的方法，用于量化多语言和/或多任务 NLP 基准中评估指标的不确定性与统计精度。我们展示了性能分数的实验变异如何源于模型与数据相关的因素，并指出必须同时考虑两者以避免大幅低估在假设重复实验中的总体变异性。以多语言问答、机器翻译和命名实体识别作为示例任务，我们还演示了重采样方法如何有效量化排行榜中各项指标的重复实验不确定性，如模型排名和模型间的成对差异。