通过上下文重写提升黑盒鲁棒性
机器学习
2024-08-06 v3
摘要
用于文本分类的机器学习模型通常在分布内（ID）数据上表现优异，但在处理未见分布外（OOD）输入时往往遇到困难。大多数提升 OOD 鲁棒性的技术不适用于模型实际上是黑盒的场景，例如权重被冻结、重训练成本高昂或通过 API 调用模型的情况。测试时增强（TTA）是一种简单的提升鲁棒性的事后技术，通过对测试输入的多次增强聚合预测来规避黑盒约束。由于生成有效的自然语言增强具有挑战性，TTA 在 NLP 中的应用有限。在这项工作中，我们提出了 LLM-TTA，它使用 LLM 生成的增强作为 TTA 的增强函数。在情感、毒性和新闻分类任务中，对于 BERT 和 T5 模型，LLM-TTA 优于传统的增强函数，BERT 的 OOD 鲁棒性平均提升了 4.48 个百分点，且未降低平均 ID 性能。我们探索了基于预测熵选择性地增强输入，以减少昂贵的 LLM 增强频率，使我们能够在将生成增强的平均数量减少 57.74% 的同时保持性能提升。LLM-TTA 与任务模型架构无关，不需要 OOD 标签，并且在低资源和资源丰富的设置中均有效。我们共享了我们的数据、模型和代码以确保可复现性。
引用
@article{arxiv.2402.08225,
title = {Improving Black-box Robustness with In-Context Rewriting},
author = {Kyle O'Brien and Nathan Ng and Isha Puri and Jorge Mendez and Hamid Palangi and Yoon Kim and Marzyeh Ghassemi and Thomas Hartvigsen},
journal= {arXiv preprint arXiv:2402.08225},
year = {2024}
}