数据制图何时会失效？训练动力学未能提高对性格提问数据集对抗鲁棒性
计算与语言
2025-03-25 v1 人工智能
摘要
本文探讨了在提取式问答任务中，对性格数据集进行制图的有效性。我首先分析了性格数据的注释制造因素，评估了两个对抗数据集 AddSent 和 AddOneSent 对 ELECTRA-small 模型的影响。通过训练动力学，将性格数据集划分为易学习、模糊和难学习三类子集。随后比较使用这些子集训练的模型与使用等等大小随机抽样训练的模型性能。结果表明，基于制图的子集训练对性格验证集或 AddSent 对抗集的泛化能力没有提升。虽然难学习子集在 AddOneSent 数据集上略ently 获得更高的 F1 分数，但整体提升有限。这些发现表明，数据制图在性格式 QA 任务中对对抗鲁棒性贡献有限。本文最后将这些结果与 SNLI 的先前研究进行比较，并讨论观察差异的可能原因。
引用
@article{arxiv.2503.18290,
title = {When is dataset cartography ineffective? Using training dynamics does not improve robustness against Adversarial SQuAD},
author = {Paul K. Mandal},
journal= {arXiv preprint arXiv:2503.18290},
year = {2025}
}
备注
5 pages, 3 figures, 4 tables