注意力确实是你所需的一切：面向数据到文本自然语言生成的语义注意力引导解码
可精确求解与可积系统
2022-06-29 v1 数学物理
偏微分方程分析
math.MP
摘要
自神经模型被采用于数据到文本语言生成以来，它们一直依赖外部组件来提高其语义准确性，因为模型通常不具备生成可靠提及输入中所提供全部信息的文本的能力。本文提出一种新颖的解码方法，从编码器-解码器模型的跨注意力中提取可解释信息，并用其推断生成文本中提及了哪些属性，随后用于重打分束假设。将该方法与 T5 和 BART 结合使用，我们在三个数据集上展示了其大幅减少生成输出中语义错误的能力，同时保持其最先进的品质。
引用
@article{arxiv.2109.07042,
title = {Soliton resolution for the Wadati-Konno-Ichikawa equation with weighted Sobolev initial data},
author = {Zhi-Qiang Li and Shou-Fu Tian and Jin-Jie Yang},
journal= {arXiv preprint arXiv:2109.07042},
year = {2022}
}
备注
50 pages, 7 figures. arXiv admin note: substantial text overlap with arXiv:2109.06384; text overlap with arXiv:2101.12697, arXiv:2012.11928