利用语言模型批量生成多模态系统的失效案例
机器学习
2024-03-06 v2 计算与语言
软件工程
摘要
已部署的多模态系统可能以评估者未预期的方式失效。为了在部署前发现这些失效，我们引入 MultiMon，一个自动识别系统性失效的系统——即对模型失效模式的可泛化自然语言描述。为揭示系统性失效，MultiMon 从语料库中抓取错误一致性的例子：产生相同输出但不应如此的输入。随后它提示语言模型（如 GPT-4）发现系统性失效模式并用自然语言描述。我们使用 MultiMon 发现了 CLIP 文本编码器的 14 个系统性失效（如“忽略量词”），每个包含数百个不同输入（如“一个有几本/许多书的书架”）。由于 CLIP 是大多数最先进多模态系统的骨干，这些输入会在 Midjourney 5.1、DALL-E、VideoFusion 等中引发失效。MultiMon 也可导向与特定用例（如自动驾驶汽车）相关的失效。我们将 MultiMon 视为迈向自主探索潜在系统失效长尾的评估的一步。MULTIMON 的代码可在 https://github.com/tsb0601/MultiMon 获取。
引用
@article{arxiv.2306.12105,
title = {Mass-Producing Failures of Multimodal Systems with Language Models},
author = {Shengbang Tong and Erik Jones and Jacob Steinhardt},
journal= {arXiv preprint arXiv:2306.12105},
year = {2024}
}
备注
Under Review