评估与改进与模糊预言机的交互
计算机视觉与模式识别
2022-12-02 v3
摘要
许多AI系统整合传感器输入、世界知识与人类提供的信息来进行推理。尽管此类系统常将人类输入视为无瑕，但更宜将人类视为模糊预言机，其输入可能含混或超出AI系统的理解范围。在此情形下，AI系统暂缓推理以澄清人类所提供信息（例如请求人类重新表述查询）是合理的。尽管该方法过去已被考虑，当前工作通常局限于特定应用的方法与非标准化的人类实验。我们转而引入并形式化延迟推理的一般概念。利用该形式化，我们进而提出一种围绕延迟误差量（DEV）度量的新颖评估，其显式考量误差降低与实现该降低所需额外人力之间的权衡。我们在单目标视频目标跟踪与指称表达式理解这两个异质任务上展示了这一新形式化及一种创新的延迟推理方法，最终在不改变底层模型或其参数的情况下将误差降低至多48%。
引用
@article{arxiv.2110.10206,
title = {Evaluating and Improving Interactions with Hazy Oracles},
author = {Stephan J. Lemmer and Jason J. Corso},
journal= {arXiv preprint arXiv:2110.10206},
year = {2022}
}
备注
To be published in the Proceedings of the 2023 AAAI Conference on Artificial Intelligence (AAAI) 14 pages, 5 tables, 9 figures