探究基于Transformer的RDF到文本模型中的遗漏与扭曲
计算与语言
2024-09-26 v1
摘要
在自然语言生成（NLG）中，输出文本有时会遗漏重要信息。为了更好地理解和分析此类错误是如何产生的，我们聚焦于RDF到文本生成，并探索了两种探究BART（Lewis等，2020）和T5（Raffel等，2019）编码器输出中遗漏的方法：(i) 一种新颖的无参数探究方法，基于计算RDF图与移除了部分实体的RDF图之间嵌入的余弦相似度；(ii) 一种参数化探针，对编码器嵌入执行二分类以检测被遗漏的实体。我们还将分析扩展到扭曲实体，即在生成文本中未被完全正确提及的实体（例如实体拼写错误、错误的测量单位）。我们发现被遗漏和被扭曲的实体均可在编码器的输出嵌入中被探测到。这表明编码器对这些实体发出了较弱的信号，因此对部分信息丢失负有责任。这也表明探究方法可用于检测NLG模型输出中的错误。
引用
@article{arxiv.2409.16707,
title = {Probing Omissions and Distortions in Transformer-based RDF-to-Text Models},
author = {Juliette Faille and Albert Gatt and Claire Gardent},
journal= {arXiv preprint arXiv:2409.16707},
year = {2024}
}
备注
Accepted for publication in Transactions of the ACL (TACL)