中文

面向问题的分割与检索:以辅导对话为例

计算与语言 2024-11-13 v1 人工智能

摘要

许多开放式对话(如辅导课或商务会议)围绕预定义的参考材料展开,如练习册或会议要点。为研究此类对话结构提供框架,我们提出了面向问题的分割与检索(POSR),即将对话联合分割为片段并将每个片段链接到相关参考项的任务。作为案例研究,我们将POSR应用于教育领域,其中围绕问题有效构建课程结构至关重要但也颇具挑战。我们发布了LessonLink,首个真实辅导课程数据集,包含3,500个片段,跨度24,300分钟教学时长,关联116道SAT数学题。我们定义并评估了多种POSR的联合与独立方法,包括分割(如TextTiling)、检索(如ColBERT)和大语言模型(LLM)方法。结果表明,将POSR建模为单一联合任务至关重要:POSR方法在联合指标上比独立的分割与检索流程高出高达+76%,在分割指标上比传统分割方法高出高达+78%。我们展示了POSR在下游教育应用中的实际影响,从真实课程结构的语言和时间使用中获得新见解。

关键词

引用

@article{arxiv.2411.07598,
  title  = {Problem-Oriented Segmentation and Retrieval: Case Study on Tutoring Conversations},
  author = {Rose E. Wang and Pawan Wirawarn and Kenny Lam and Omar Khattab and Dorottya Demszky},
  journal= {arXiv preprint arXiv:2411.07598},
  year   = {2024}
}

备注

EMNLP 2024 Findings. Our code and dataset are open-sourced at https://github.com/rosewang2008/posr