自动化 AI 故障跟踪：AI 事件数据库中报告的语义关联

人工智能 (AI) 系统正在改变医疗、金融和交通等关键领域，提高了运营效率和决策水平。然而，其在高风险领域的部署暴露了这些漏洞可能导致重大社会危害。为了系统性地研究和缓解这些风险，诸如 AI 事件数据库 (AIID) 等倡议应运而生， catalog 了超过 3000 条真实世界的 AI 故障报告。目前，将新的报告关联到相应的 AI 事件依赖于手动专家干预，这限制了可扩展性并延迟了新兴故障模式的识别。为此，我们提出一种基于检索的框架，通过语义相似性建模自动将新的报告与现有的 AI 事件关联。我们将该任务形式化为排序问题，其中每条报告(由标题和完整文本描述组成)根据嵌入余弦相似度与先前记录的 AI 事件进行比较。对传统词典方法、cross-encoder 架构和基于 transformer 的句子嵌入模型进行基准测试，我们发现后者始终实现了优异的性能。我们的分析进一步表明，将标题和描述组合使用相对于仅使用标题在排序准确性方面具有显著的改进。此外，检索性能在描述长度变化的情况下保持稳定，凸显了该框架的鲁棒性。最后，我们发现随着训练集的扩大，检索性能持续提高。我们的做法提供了一个可扩展且高效的解决方案，用于支持 AIID的维护。