理解分布外：数据动态的视角
计算与语言
2021-11-30 v1 人工智能
机器学习
摘要
尽管机器学习模型在自然语言处理（NLP）任务中取得成功，这些模型的预测经常在分布外（OOD）样本上失败。先前工作聚焦于开发用于检测 OOD 的最先进方法。OOD 样本与分布内样本如何不同这一基本问题仍待解答。本文探索训练模型中的数据动态如何被用于详细理解 OOD 与分布内样本之间的根本差异。我们发现，模型在 OOD 和分布内情况下始终预测错误的数据样本的句法特征彼此直接矛盾。此外，我们观察到初步证据支持如下假设：模型在对 OOD 样本进行预测时更可能依赖平凡的句法启发式（例如，两个句子间词的重叠）。我们希望我们的初步研究能加速针对各种机器学习现象的数据中心分析。
引用
@article{arxiv.2111.14730,
title = {Understanding Out-of-distribution: A Perspective of Data Dynamics},
author = {Dyah Adila and Dongyeop Kang},
journal= {arXiv preprint arXiv:2111.14730},
year = {2021}
}