TrICy：基于触发引导和意图感知注意力复制的数据到文本生成
计算与语言
2024-02-07 v1 人工智能
机器学习
摘要
数据到文本（D2T）生成是许多自然语言理解（NLU）应用中的关键任务，并构成了任务导向型对话系统的基础。在能够直接处理用户设备上本地数据的对话式AI解决方案的背景下，使用大型预训练语言模型（PLM）的架构由于内存占用高而不适合设备端部署。为此，我们提出了TrICy，一个新颖的轻量级框架，用于增强的D2T任务，该框架基于上下文中的意图生成文本序列，并可能进一步由用户提供的触发器引导。我们利用注意力复制机制准确预测词汇表外（OOV）单词。在E2E NLG数据集（BLEU：66.43%，ROUGE-L：70.14%）、WebNLG数据集（BLEU：已见64.08%，未见52.35%）以及我们与短信应用相关的自定义数据集上的性能分析展示了我们架构的有效性。此外，我们表明，通过利用可选的触发器输入，数据到文本生成质量显著提高，并在E2E NLG上达到了69.29% BLEU的新SOTA分数。此外，我们的分析表明，TrICy在BLEU和METEOR上分别比GPT-3、ChatGPT和Llama 2等LLM至少提高了24%和3%。我们还证明，在某些场景下，即使在训练中不存在触发器，也能观察到触发器带来的性能提升。
引用
@article{arxiv.2402.01714,
title = {TrICy: Trigger-guided Data-to-text Generation with Intent aware Attention-Copy},
author = {Vibhav Agarwal and Sourav Ghosh and Harichandana BSS and Himanshu Arora and Barath Raj Kandur Raja},
journal= {arXiv preprint arXiv:2402.01714},
year = {2024}
}
备注
Published in the IEEE/ACM Transactions on Audio, Speech, and Language Processing. (Sourav Ghosh and Vibhav Agarwal contributed equally to this work.)