BEA 2026 共享任务中文短答评分中的 Meta-prompting 方法——RETUYT-INCO 参赛报告
计算与语言
2026-05-13 v1 人工智能
摘要
本文介绍了RETUYT-INCO在BEA 2026共享任务"基于评分标准的德语短答案评分"中的参赛情况。我们的团队参赛了轨道1（不可见答案三向）、轨道3（不可见答案二向）和轨道4（不可见问题二向）。由于这些轨道需要根据具体评分标准对学生短答案进行评分，我们寻找了处理任务性质变化的方法。我们提出了一种称为Meta-prompting的方法：该方法使 LLM 根据训练集中的示例创建自定义提示词，然后用于对新学生答案进行评分。我们还描述了其他方法，如经典机器学习、微调开源 LLM 以及不同的提示技术。根据官方结果，我们队在轨道1中以0.729的 QWK 排名第6（共8队），在轨道3中以0.674的 QWK 排名第4（共9队），在轨道4中以0.49的 QWK 排名第4（共8队）。
引用
@article{arxiv.2605.11242,
title = {RETUYT-INCO at BEA 2026 Shared Task 2: Meta-prompting in Rubric-based Scoring for German},
author = {Ignacio Sastre and Ignacio Remersaro and Facundo Díaz and Nicolás De Horta and Luis Chiruzzo and Aiala Rosá and Santiago Góngora},
journal= {arXiv preprint arXiv:2605.11242},
year = {2026}
}
备注
To be presented at the BEA 2026 workshop, co-located with ACL 2026