中文

mucAI 在 BAREC 2025 共享任务中的表现:面向不确定性感知的阿拉伯语可读性评估

计算与语言 2025-09-22 v1 人工智能

摘要

我们提出了一种简单且模型无关的后处理技术,用于 BAREC 2025 共享任务(19 个有序层级)中的细粒度阿拉伯语可读性分类。该方法应用保守预测生成具有覆盖保证的预测集,然后计算使用 softmax 重归一化概率对保守集的加权平均。这一不确定性感知的解码方式通过减少高惩罚误分类到更接近的层级,提高了二次加权 Kappa (QWK)。我们的方法在不同基础模型上均显示出 1-3 分的持续性 QWK 提升。在严格轨道中,我们的提交在句子层面获得了 84.9%(测试集)和 85.7%(盲测)的 QWK 分数,文件层面为 73.3%。对于阿拉伯语教育评估,这使人类审阅者能够聚焦于少数几个可能的层级,结合统计保证与实际可用性。

关键词

引用

@article{arxiv.2509.15485,
  title  = {mucAI at BAREC Shared Task 2025: Towards Uncertainty Aware Arabic Readability Assessment},
  author = {Ahmed Abdou},
  journal= {arXiv preprint arXiv:2509.15485},
  year   = {2025}
}