ChartText：文档中文本与图表的关联

近期工作表明，将文本与可视化相连接的互动文档有助于阅读理解。然而，创建此类内容需要专门知识。我们在本工作中提出 ChartText，一种将文本与可视化相链接的方法。我们的方法支持包含条形图、折线图与散点图的文档。ChartText 以可视化的视觉编码及其关联文本为输入，分两阶段进行链接：匹配阶段建立文本与图表间简单短语的逐个链接；随后在分组阶段依据视觉通道组合这些个别链接，构建更有意义的关联。我们使用两个数据集设计与评估该方法：第一个来自网络文档（24 个条形图及文本），第二个来自学术文档（25 个条形图、25 个折线图与 25 个散点图及其文本）。实验显示，我们的方法在两个数据集上分别获得 0.50 与 0.66 的 F1 分数。我们也可采用修正个别链接的半自动方式；此时分数分别升至 0.68 与 0.84。为展示该技术实用性，我们实现了两个概念验证：第一个使用图形叠加创建互动文档，提升阅读体验；第二个以语音替代文本实时标注图表，例如在视频会议中，我们的技术可依据演讲者描述自动标注图表。