用于数学推理分布外检测的嵌入轨迹
计算与语言
2024-10-31 v2 人工智能
机器学习
摘要
偏离分布内训练数据独立同分布（i.i.d.）假设的现实世界数据对深度网络构成了安全威胁，从而推动了分布外（OOD）检测算法的发展。生成式语言模型（GLM）中的检测方法主要侧重于不确定性估计和嵌入距离度量，后者已被证明在摘要和翻译等传统语言任务中最为有效。然而，另一种复杂的生成场景——数学推理，由于其输出空间的高密度特征，对基于嵌入的方法提出了重大挑战，但这一特征会导致潜在空间中不同样本之间的嵌入偏移轨迹产生更大的差异。因此，我们提出了一种基于轨迹的方法 TV 分数，该分数利用轨迹波动性进行数学推理的 OOD 检测。实验表明，在数学推理场景下，我们的方法在 GLM 上优于所有传统算法，并且可以扩展到输出空间具有高密度特征的更多应用中，例如多项选择题。
引用
@article{arxiv.2405.14039,
title = {Embedding Trajectory for Out-of-Distribution Detection in Mathematical Reasoning},
author = {Yiming Wang and Pei Zhang and Baosong Yang and Derek F. Wong and Zhuosheng Zhang and Rui Wang},
journal= {arXiv preprint arXiv:2405.14039},
year = {2024}
}
备注
Accepted by NeurIPS 2024