面向文本到可视化翻译针对词汇与短语变异的鲁棒性研究
计算与语言
2024-04-12 v2 人工智能
摘要
Text-to-Vis 是自然语言处理（NLP）领域中的一项新兴任务，旨在根据自然语言问题（NLQs）自动生成数据可视化。尽管取得了进展，但现有的 text-to-vis 模型通常严重依赖于问题中的词与数据模式中的词元之间的词汇匹配。这种对词汇匹配的过度依赖可能导致模型对输入变化的鲁棒性下降。在本研究中，我们全面考察了当前 text-to-vis 模型的鲁棒性，这是一个此前未被探索的领域。具体而言，我们构建了首个鲁棒性数据集 nvBench-Rob，其中包含基于原始 text-to-vis 基准 nvBench 的多样词汇和短语变异。随后，我们发现现有 text-to-vis 模型在该新数据集上的性能急剧下降，这意味着这些方法整体上表现出不足的鲁棒性。最后，我们提出了一种基于检索增强生成（RAG）技术的新框架 GRED，专门用于应对这两种变体中的输入扰动。该框架由三部分组成：NLQ 检索生成器、可视化查询检索重调器和基于标注的调试器，分别用于应对自然语言变体、编程风格差异和数据模式变体带来的挑战。广泛的实验评估表明，与 Text-to-Vis 领域最先进的模型 RGVisNet 相比，GRED 在模型鲁棒性方面表现更好，在所提出的 nvBench-Rob 数据集上准确率提升了 32%。
引用
@article{arxiv.2404.07135,
title = {Towards Robustness of Text-to-Visualization Translation against Lexical and Phrasal Variability},
author = {Jinwei Lu and Yuanfeng Song and Haodi Zhang and Chen Zhang and Raymond Chi-Wing Wong},
journal= {arXiv preprint arXiv:2404.07135},
year = {2024}
}