用于数据集效应的状态向量框架
计算与语言
2023-10-18 v1 人工智能
机器学习
摘要
近期基于深度神经网络（DNN）的系统的显著成功受到训练中使用的优质数据集的重要影响。然而，数据集的效应，尤其是它们如何相互作用，仍未被充分探索。我们提出一种状态向量框架以促成该方向上的严谨研究。该框架使用理想化探测测试结果作为向量空间的基。此框架使我们能够量化独立数据集与交互数据集的效应。我们表明一些常用语言理解数据集的显著效应具有特征性，并集中于少数语言维度上。此外，我们观察到一些“溢出”效应：数据集可能沿看似与预期任务无关的维度影响模型。我们的状态向量框架为系统理解数据集效应铺平了道路，而这是负责任且鲁棒模型开发的关键组成部分。
引用
@article{arxiv.2310.10955,
title = {A State-Vector Framework for Dataset Effects},
author = {Esmat Sahak and Zining Zhu and Frank Rudzicz},
journal= {arXiv preprint arXiv:2310.10955},
year = {2023}
}
备注
EMNLP 2023