DanmakuTPPBench：面向时空点过程建模与理解的多模态基准
计算与语言
2025-10-22 v2 机器学习
摘要
我们介绍 DanmakuTPPBench，这是一个综合性基准，旨在推动大语言模型 (LLM) 时代下多模态时空点过程 (TPP) 建模。尽管 TPP 在建模时序事件序列方面已被广泛研究，但现有数据集主要是单模态的，阻碍了需要对时序、文本和视觉信息进行联合推理的模型的进步。为填补这一空白，DanmakuTPPBench 包含两个互补组成部分：(1) DanmakuTPP-Events，一个源自 Bilibili 视频平台的新型数据集，用户生成的弹幕 (Danmaku) 自然形成带有精确时间戳、丰富文本内容及对应视频帧的多模态事件；(2) DanmakuTPP-QA，一个通过 novel 多智能体管道（由最先进的 LLM 和多模态 LLM (MLLM) 支持）构建的挑战性问答数据集，针对复杂的时序-文本-视觉推理。我们对经典 TPP 模型和最新 MLLM 进行了广泛评估，揭示了当前方法在建模多模态事件动态方面存在的显著性能差距和局限性。我们的基准建立了强基准，呼吁将 TPP 建模进一步集成到多模态语言建模生态系统中。项目页面：https://github.com/FRENKIE-CHIANG/DanmakuTPPBench
关键词
引用
@article{arxiv.2505.18411,
title = {DanmakuTPPBench: A Multi-modal Benchmark for Temporal Point Process Modeling and Understanding},
author = {Yue Jiang and Jichu Li and Yang Liu and Dingkang Yang and Feng Zhou and Quyu Kong},
journal= {arXiv preprint arXiv:2505.18411},
year = {2025}
}
备注
Accepted by Neural Information Processing Systems (NeurIPS 2025)