利用大语言模型实现图形非分布外合成暴露
数值分析
2025-05-01 v1 数值分析
摘要
图形非分布外(OOD)检测对于确保模型在开放世界和安全敏感应用中的鲁棒性至关重要。现有的图形 OOD 检测方法通常仅在ID数据上训练ID分类器，然后应用后置评分来检测OOD实例。虽然OD暴露——在训练期间添加辅助OD样本——可提高检测效果，但当前基于图形的方法通常假设可获得真实OD节点，这在实际中往往不切实或成本较高。在本文中，我们提出了GOE-LLM框架，利用大语言模型(LLM)实现不使用真实OD节点的图形OD暴露。GOE-LLM引入了两个管道：(1)使用零样本LLM注释从初始未标记图中识别伪OD节点，(2)通过LLM提示的文本生成生成语义丰富的合成OD节点。然后，这些伪OD节点用于正则化ID分类器训练和增强OD检测意识。实验结果表明，GOE-LLM在无OD暴露的情况下显著优于最先进的方法，在OOD检测的AUROC上提高了最高23.5%，同时在无OD标签暴露的情况下达到与之相当的性能。
引用
@article{arxiv.2504.21197,
title = {Spectral Methods via FFTs in Emerging Machine Number Formats: OFP8, Bfloat16, Posit, and Takum Arithmetics},
author = {Laslo Hunhold and John Gustafson},
journal= {arXiv preprint arXiv:2504.21197},
year = {2025}
}
备注
7 pages, 4 figures