Interscript：一个通过错误反馈进行脚本交互学习的数据集
人工智能
2021-12-17 v2
摘要
若已部署的结构化预测模型生成不一致的输出、忽略了人类语言的结构复杂性，终端用户该如何提供反馈？这是一个新兴课题，近期在合成或受限设定下取得了进展，而下一个重大飞跃将需要在真实世界设定中测试和调优模型。我们提出一个新的数据集 Interscript，包含对生成复杂日常任务的已部署模型的用户反馈。Interscript 包含 8,466 个数据点——输入为一个可能有误的脚本及一条用户反馈，输出为一个修改后的脚本。我们提出 Interscript 的两种可能显著推进交互学习前沿的用例。该数据集可在 https://github.com/allenai/interscript 获取。
引用
@article{arxiv.2112.07867,
title = {Interscript: A dataset for interactive learning of scripts through error feedback},
author = {Niket Tandon and Aman Madaan and Peter Clark and Keisuke Sakaguchi and Yiming Yang},
journal= {arXiv preprint arXiv:2112.07867},
year = {2021}
}
备注
AAAI'22-Workshop on Interactive Machine Learning