基于轻量模型的地理位置感知视觉问题生成
计算与语言
2023-10-24 v1 机器学习
摘要
本工作引入了一项新任务：地理位置感知视觉问题生成（LocaVQG），旨在从与特定地理位置相关的数据中生成引人入胜的问题。具体而言，我们用周边图像和 GPS 坐标来表示此类位置感知信息。为应对该任务，我们提出了一个利用 GPT-4 生成多样化且复杂问题的数据集构建流程。然后，我们旨在学习一个轻量模型，能够处理 LocaVQG 任务并适配边缘设备（如手机）。为此，我们提出了一种能从位置感知信息中可靠生成引人入胜问题的方法。在人工评估（如参与度、接地性、连贯性）和自动评估指标（如 BERTScore、ROUGE-2）上，我们所提方法均优于基线。此外，我们进行了广泛的消融实验，以验证所提出的用于数据集生成和任务求解的技术。
引用
@article{arxiv.2310.15129,
title = {Location-Aware Visual Question Generation with Lightweight Models},
author = {Nicholas Collin Suwono and Justin Chih-Yao Chen and Tun Min Hung and Ting-Hao Kenneth Huang and I-Bin Liao and Yung-Hui Li and Lun-Wei Ku and Shao-Hua Sun},
journal= {arXiv preprint arXiv:2310.15129},
year = {2023}
}
备注
EMNLP 2023