Rainproof：为文本生成器抵御分布外数据的保护伞
计算与语言
2024-03-04 v2
摘要
为已部署的 NLP 模型（从翻译到聊天机器人）实施有效的控制机制以确保其正常运行和安全性至关重要。确保系统行为安全的一个关键要素是分布外（OOD）检测，其目的是检测输入样本在统计上是否远离训练分布。尽管 OOD 检测是分类任务中广泛涉及的主题，但大多数方法依赖于编码器输出的隐藏特征。在这项工作中，我们专注于在黑盒框架中利用软概率，即我们可以访问模型的软预测，但无法访问其内部状态。我们的贡献包括：（i）RAINPROOF，一个相对信息投影 OOD 检测框架；以及（ii）一个更具操作性的 OOD 检测评估设置。令人惊讶的是，我们发现 OOD 检测并不一定与特定任务的度量标准一致。OOD 检测器可能会过滤掉模型处理良好的样本，而保留处理不佳的样本，从而导致性能下降。我们的结果表明，与传统的 OOD 检测器相比，RAINPROOF 提供的 OOD 检测方法与特定任务性能指标更为一致。
引用
@article{arxiv.2212.09171,
title = {Rainproof: An Umbrella To Shield Text Generators From Out-Of-Distribution Data},
author = {Maxime Darrin and Pablo Piantanida and Pierre Colombo},
journal= {arXiv preprint arXiv:2212.09171},
year = {2024}
}