中文

CLaC 在 SemEval-2026 Task 6:政治话语中的响应清晰度检测

计算与语言 2026-05-05 v1 机器学习

摘要

本文介绍我们系统用于 SemEval-2026 Task 6(CLARITY)中关于美国总统采访问答对中响应清晰度和回避检测的系统,比较微调编码器与基于提示的大语言模型。我们的 LLM 集成在 3 分类任务 1(9/41)上取得 80 个 macro-F1,在 9 分类任务 2(3/33)上取得 59 分。经过四阶段管道优化的 8 个变换器编码器中,部分编码器层解冻显著优于完全微调。将英文和多语言编码器组合进一步提升了集成性能,尽管多语言模型在单个模型上表现较弱。基于提示的 LLM 在无任何任务特定参数更新的情况下超越微调编码器,尤其在少数类别方面表现更佳;在开源 LLM 中,参数规模并不预测性能。丰富的输入(拼接完整的提问方发言)提升了 LLM 性能,但对编码器帮助不大,这一现象即使在 Longformer 扩展上下文窗口后仍如此,暗示在我们的实验设置下,序列长度容量并非性能差异的根本原因。Clear Reply/Ambivalent 边界仍为主要错误模式,反映了人类标注者之间的一致性不足。我们的代码、提示、模型配置和结果已公开。

关键词

引用

@article{arxiv.2605.02170,
  title  = {CLaC at SemEval-2026 Task 6: Response Clarity Detection in Political Discourse},
  author = {Nawar Turk and Lucas Miquet-Westphal and Leila Kosseim},
  journal= {arXiv preprint arXiv:2605.02170},
  year   = {2026}
}

备注

13 pages, 6 figures, 9 tables. System description paper for SemEval-2026 Task 6 (CLARITY): ranked 9th/41 on Task 1 and 3rd/33 on Task 2