SparCAssist：基于稀疏生成反事实的模型风险评估助手
计算与语言
2022-05-04 v1 人工智能
摘要
我们介绍了 SparcAssist，一个用于语言任务训练机器学习模型的通用风险评估工具。它通过检查模型在反事实上的行为来评估模型风险，即基于给定数据实例生成的分布外实例。反事实通过对 ExPred 识别的理性子序列中的词元进行替换而生成，而替换词元使用 HotFlip 或基于掩码语言模型的算法检索得到。我们系统的主要目的是帮助人类标注者评估模型部署时的风险。评估过程中生成的反事实实例是副产品，未来可用于训练更鲁棒的 NLP 模型。
引用
@article{arxiv.2205.01588,
title = {SparCAssist: A Model Risk Assessment Assistant Based on Sparse Generated Counterfactuals},
author = {Zijian Zhang and Vinay Setty and Avishek Anand},
journal= {arXiv preprint arXiv:2205.01588},
year = {2022}
}
备注
5 pages, 2 figures, submitted and accepted as a demo paper in SIGIR2022