识别和基准测试自然上下文外预测问题
机器学习
2021-10-27 v1 计算机视觉与模式识别
摘要
深度学习系统经常在上下文外（OOC）预测中失败，即在训练分布的不常见或异常输入或子组上做出可靠预测的问题。为此，最近引入了一些用于测量OOC性能的基准。在这项工作中，我们引入了一个统一OOC性能测量文献的框架，并展示了如何利用丰富的辅助信息来识别现有数据集中候选的OOC示例集。我们提出了NOOCh：一组自然出现的“挑战集”，并展示了如何使用不同的上下文概念来探测特定的OOC失败模式。实验上，我们探索了这些挑战集上各种学习方法之间的权衡，并展示了设计OOC基准时的选择如何产生不同的结论。
引用
@article{arxiv.2110.13223,
title = {Identifying and Benchmarking Natural Out-of-Context Prediction Problems},
author = {David Madras and Richard Zemel},
journal= {arXiv preprint arXiv:2110.13223},
year = {2021}
}
备注
Accepted to NeurIPS 2021