SpanDrop：面向长序列的简单有效反事实学习
机器学习
2022-08-04 v1 计算与语言
摘要
从长序列中提炼监督信号以进行预测是机器学习中的一项挑战性任务，尤其当输入序列中并非所有元素对期望输出的贡献均等时。本文中，我们提出 SpanDrop，一种简单有效的数据增强技术，帮助模型以极少样本从长序列中识别真实的监督信号。通过直接操纵输入序列，SpanDrop 每次随机消融部分序列，并要求模型执行相同任务以模拟反事实学习并实现输入归因。基于对其性质的理论分析，我们还提出了一种基于 beta-Bernoulli 分布的 SpanDrop 变体，其产生多样化的增强序列，同时提供与原始数据集更一致的学习目标。我们在一组精心设计的玩具任务，以及需要基于长序列推理以得出正确答案的多种自然语言处理任务上展示了 SpanDrop 的有效性，并表明无论数据稀缺还是充足，它都能帮助模型提升性能。
引用
@article{arxiv.2208.02169,
title = {SpanDrop: Simple and Effective Counterfactual Learning for Long Sequences},
author = {Peng Qi and Guangtao Wang and Jing Huang},
journal= {arXiv preprint arXiv:2208.02169},
year = {2022}
}
备注
Peng Qi and Guangtao Wang contributed equally