面向语言模型在视觉概念语义相似性上可解释评估的研究
计算与语言
2022-10-31 v1 人工智能
摘要
NLP 研究近期的突破，例如 Transformer 模型的出现，无疑推动了多项任务的重大进展。然而，少数工作研究其评估策略的鲁棒性与可解释性问题。在本工作中，我们考察高性能预训练语言模型的行为，聚焦于视觉词汇的语义相似性任务。首先，我们解决对可解释评估指标的需求，这是理解所检索实例概念质量的必要前提。我们提出的指标在局部与全局层面提供有价值的洞察，揭示了广泛使用方法的不足。其次，对显著查询语义的对抗性干预暴露了不透明指标的脆弱性，并凸显了所学语言表示中的模式。
引用
@article{arxiv.2209.03723,
title = {Towards explainable evaluation of language models on the semantic similarity of visual concepts},
author = {Maria Lymperaiou and George Manoliadis and Orfeas Menis Mastromichalakis and Edmund G. Dervakos and Giorgos Stamou},
journal= {arXiv preprint arXiv:2209.03723},
year = {2022}
}