用于模型鲁棒性的即插即用反事实文本生成
计算与语言
2022-06-22 v1 机器学习
摘要
生成反事实测试用例是测试 NLP 模型并使其像传统软件一样鲁棒可靠的重要基础。在生成测试用例时，一种期望的特性是能够以灵活的方式控制测试用例的生成，以测试大量各类失效情形，并以针对性方式解释和修复它们。在此方向上，先前工作通过手动编写规则来生成受控反事实已取得显著进展。然而，该方法需要大量人工监督，且缺乏轻松引入新控制的灵活性。受 PPLM 的即插即用方法令人印象深刻的灵活性所推动，我们提出将即插即用框架引入反事实测试用例生成任务。我们引入 CASPer，一种即插即用反事实生成框架，用于按需生成满足目标属性的测试用例。我们的即插即用模型可在给定任意属性模型时引导测试用例生成过程，而无需针对属性对模型进行特定训练。在实验中，我们表明 CASPer 能有效生成遵循属性模型引导的反事实文本，同时保持流畅、多样并保留原始内容。我们还表明，由 CASPer 生成的反事实可用于扩充训练数据，从而修复并使被测模型更加鲁棒。
引用
@article{arxiv.2206.10429,
title = {Plug and Play Counterfactual Text Generation for Model Robustness},
author = {Nishtha Madaan and Srikanta Bedathur and Diptikalyan Saha},
journal= {arXiv preprint arXiv:2206.10429},
year = {2022}
}