LeWiDi-2025上的Opt-ICL：通过元学习最大化来自评分者示例的情境信号
计算与语言
2025-10-09 v1 人工智能
摘要
许多自然语言处理（NLP）任务涉及主观性、模糊性或评注者之间 legitimate disagreement。在本文中，我们概述了建模人类变异的系统。该系统利用语言模型（LLM）的情境学习能力，结合两步元学习训练程序：1）在大量需要情境学习的数据集上进行后训练；2）通过情境元学习专门针对特定数据分布进行优化。我们还评估了该系统提交至学习与 disagreement（LeWiDi）竞赛的性能，系统在两项任务中均获得overall winner称号。此外，我们进行了消融研究以衡量各系统组件的重要性。我们发现，將评分者示例纳入情境中对系统性能至关重要，数据集特定的微调在大型数据集上有益，在一项竞赛数据集上，对其他情境数据集的后训练也有益，性能随模型规模而提升。
引用
@article{arxiv.2510.07105,
title = {Opt-ICL at LeWiDi-2025: Maximizing In-Context Signal from Rater Examples via Meta-Learning},
author = {Taylor Sorensen and Yejin Choi},
journal= {arXiv preprint arXiv:2510.07105},
year = {2025}
}
备注
NLPerspectives: The 4th Workshop on Perspectivist Approaches to Natural Language Processing at EMNLP 2025