领域适应检索用于教育对话行为的零样本标注
计算与语言
2026-04-06 v1 人工智能
摘要
教育对话的自动标注是一项高风险任务，LLM往往在缺乏足够领域 grounding 时会失败。我们提出了用于教育移动标注的领域适应检索-生成（RAG）管道。与微调生成模型不同，我们通过在教育语料库上微调轻量级嵌入模型并对对话在言语层面进行索引来适应检索，以检索带标签的few-shot演示。我们在两个真实教育对话数据集（TalkMoves和Eedi）上评估，并使用三个LLM backbone（GPT-5.2、Claude Sonnet 4.6、Qwen3-32b），我们最佳配置在TalkMoves上实现0.526-0.580的Cohen's ，在Eedi上实现0.659-0.743，显著优于无检索基线（-和-）。消融研究表明，言语层面索引而非嵌入质量本身是这些收益的主要驱动力，TalkMoves上的top-1标签匹配率从39.7%提升至62.0%，Eedi上从52.9%提升至73.1%。检索还纠正了零样本提示中存在的系统性标签偏差，并对罕见和情境依赖的标签提供了最大改进。这表明仅通过适应检索组件即可实现接近专家水平的教育对话标注是一种实用且有效的路径，同时保持生成模型冻结。
引用
@article{arxiv.2604.03127,
title = {Domain-Adapted Retrieval for In-Context Annotation of Pedagogical Dialogue Acts},
author = {Jinsook Lee and Kirk Vanacore and Zhuqian Zhou and Bakhtawar Ahtisham and Rene F. Kizilcec},
journal= {arXiv preprint arXiv:2604.03127},
year = {2026}
}
备注
20 pages, 20 tables, 4 figures