DiNeR：用于评估组合泛化的大型真实数据集
计算与语言
2024-06-10 v1
摘要
大多数现有组合泛化数据集都是合成生成的，导致缺乏自然语言变体。虽然近期尝试引入非合成数据集以进行组合泛化，但要么数据规模有限，要么组合形式缺乏多样性。为更好地探讨具有更多语言现象和组合多样性的组合泛化，我们提出了DIsh NamE Recognition（DiNeR）任务并构建了大型真实中文数据集。给定烹饪指令，模型需识别由多样化食物、动作与味型组合而成的菜名。数据集包含3811道菜和228,114个食谱，涉及诸如指代、省略和歧义等众多语言现象。我们提供了基于T5和大型语言模型（LLM）的两个强大基线。本工作贡献了一个具有挑战性的任务、基线方法以及菜名识别中组合泛化的见解。代码与数据已公开于 https://github.com/Jumpy-pku/DiNeR。
引用
@article{arxiv.2406.04669,
title = {DiNeR: a Large Realistic Dataset for Evaluating Compositional Generalization},
author = {Chengang Hu and Xiao Liu and Yansong Feng},
journal= {arXiv preprint arXiv:2406.04669},
year = {2024}
}
备注
EMNLP 2023 long paper