生成你的反事实：面向文本的可控反事实生成
计算与语言
2021-03-19 v2 人工智能
机器学习
摘要
机器学习近期取得了巨大发展，使得 ML 系统在教育评估、信用风险、医疗、就业、刑事司法等诸多领域得到更广泛采用。ML 与 NLP 系统的可信度是一个关键方面，需要保证其决策公平且稳健。与此一致，我们提出了一个框架 GYC，用于生成一组反事实文本样本，这些样本对于测试这些 ML 系统至关重要。我们的主要贡献包括：a) 我们引入 GYC，一个生成反事实样本的框架，使得生成过程合理、多样、目标导向且有效；b) 我们生成反事实样本，能够将生成导向相应条件，如命名实体标签、语义角色标签或情感。我们在多个领域上的实验结果表明，GYC 生成的文本反事实样本展现出上述四种性质。GYC 生成的反事实可作为测试用例，用于评估模型及任何文本去偏算法。
引用
@article{arxiv.2012.04698,
title = {Generate Your Counterfactuals: Towards Controlled Counterfactual Generation for Text},
author = {Nishtha Madaan and Inkit Padhi and Naveen Panwar and Diptikalyan Saha},
journal= {arXiv preprint arXiv:2012.04698},
year = {2021}
}
备注
Accepted at AAAI Conference on Artificial Intelligence (AAAI 2021)