面向时空敏感 POI 问答的数据集
机器学习
2025-05-19 v1
摘要
时空关系在数据科学中至关重要，因为许多预测和推理任务需要跨越空间和时间维度进行分析——例如，探索陌生城市涉及规划包含位置和时刻文化体验的行程。然而，现有的问答(QA)数据集缺乏足够的时空敏感问题，无法作为评估模型时空推理能力的基准。为填补这一差距，我们引入POI-QA，一个以兴趣点(POI)为中心的时空敏感QA数据集，通过三个关键步骤构建：从GAIA中矿掘并与高精度地理POI数据对齐，从事对噪声时空事实的严格人工验证，并生成反映人类可理解时空推理任务的双语(中文/英文)问答对。我们的数据集挑战模型解析复杂的时空依赖关系，对顶尖的多语言大语言模型(如Qwen2.5-7B、Llama3.1-8B)进行评估，显示出明显的局限性：即使是最好的模型(Qwen2.5-7B使用RAG+LoRA微调)在最简单的任务上仅达到0.41的Top 10命中率(HR@10)，远低于人类水平的0.56。这凸显了大语言模型在持续时空推理方面的根本性弱点，同时突显了POI-QA作为推动时空动态感知算法发展的强大基准。该数据集已公开available at https://www.kaggle.com/ds/7394666。
引用
@article{arxiv.2505.10928,
title = {A Dataset for Spatiotemporal-Sensitive POI Question Answering},
author = {Xiao Han and Dayan Pan and Xiangyu Zhao and Xuyuan Hu and Zhaolin Deng and Xiangjie Kong and Guojiang Shen},
journal= {arXiv preprint arXiv:2505.10928},
year = {2025}
}
备注
Under Review