中文

RETUYT-INCO 在 BEA 2025 共享任务中的参与:轻量级模型在 AI 驱动的辅导评估中能走多远?

计算与语言 2025-06-16 v1 人工智能

摘要

在本文中,我们介绍了 RETUYT-INCO 在 BEA 2025 共享任务中的参与情况。我们的参与特点是决定使用参数量少于 1B 的相对较小的模型。这种自我施加的限制旨在代表全球南方许多研究实验室或机构的处境,在这些地方,由于高昂的成本,计算能力难以获取。即使在这种严格的自我限制设置下,我们的模型仍能与参与共享任务的其他团队保持竞争力。根据组织者发布的 exact F1exact\ F_1 分数,我们的模型与获胜者之间的性能差距如下:Track 1 为 6.466.46;Track 2 为 10.2410.24;Track 3 为 7.857.85;Track 4 为 9.569.56;Track 5 为 13.1313.13。考虑到与获胜团队的最小差距为 6.466.46 分——而最大差距为 13.1313.13 分——根据 exact F1exact\ F_1 分数,我们发现参数量小于 1B 的模型在这些任务中具有竞争力,所有这些模型都可以在配备低成本 GPU 甚至没有 GPU 的计算机上运行。

关键词

引用

@article{arxiv.2506.11243,
  title  = {RETUYT-INCO at BEA 2025 Shared Task: How Far Can Lightweight Models Go in AI-powered Tutor Evaluation?},
  author = {Santiago Góngora and Ignacio Sastre and Santiago Robaina and Ignacio Remersaro and Luis Chiruzzo and Aiala Rosá},
  journal= {arXiv preprint arXiv:2506.11243},
  year   = {2025}
}

备注

This paper will be presented at the 20th BEA Workshop (Innovative Use of NLP for Building Educational Applications) at ACL 2025