面向语言用户界面研究的生态效度提升
计算与语言
2020-07-30 v1
摘要
语言用户界面（LUIs）可改善人类与机器在多种任务中的交互，例如播放音乐、从数据库获取洞察或操控家用机器人。与传统的手工构建方法不同，近期工作尝试利用现代深度学习方法以数据驱动的方式构建 LUIs。为满足此类学习算法的数据需求，研究者构建了基准数据集，其强调所收集数据的数量，却牺牲了数据的自然性及其与真实世界 LUI 用例的相关性。因此，基于此类基准的研究发现可能与开发实用 LUIs 无关。本文旨在启动围绕此问题（我们称之为基准的低生态效度）的讨论。为此，我们描述了我们所认为的 LUI 机器学习研究的理想方法，并对近期基准偏离该方法的五种常见方式进行了分类。我们给出了这五类偏离及其后果的具体实例。最后，我们就如何提高 LUI 机器学习研究的生态效度提供若干建议。
引用
@article{arxiv.2007.14435,
title = {Towards Ecologically Valid Research on Language User Interfaces},
author = {Harm de Vries and Dzmitry Bahdanau and Christopher Manning},
journal= {arXiv preprint arXiv:2007.14435},
year = {2020}
}