MTP：用于多模态对话中的转折点的数据集
计算与语言
2024-09-24 v1
摘要
检测关键时刻（如情绪爆发或决策变更），对于理解人类行为及其后果至关重要。我们的工作提出一种聚焦于这些时刻作为转折点（TP）的新问题设定，并伴随一个精心策划的、高共识的人工标注多模态数据集。我们提供精确的时间戳、描述以及突显情绪、行为、视角和决策变更的视觉-文本证据。我们还提出一种框架 TPMaven，利用最先进的视觉-语言模型构建叙事，并利用大语言模型对我们的多模态数据集进行转折点分类和检测。评估结果显示，TPMaven 在分类任务中达到 0.88 的 F1 分数，在检测任务中达到 0.61 的 F1 分数，同时提供的额外解释符合人类预期。
引用
@article{arxiv.2409.14801,
title = {MTP: A Dataset for Multi-Modal Turning Points in Casual Conversations},
author = {Gia-Bao Dinh Ho and Chang Wei Tan and Zahra Zamanzadeh Darban and Mahsa Salehi and Gholamreza Haffari and Wray Buntine},
journal= {arXiv preprint arXiv:2409.14801},
year = {2024}
}
备注
Accepted by ACL 2024 main conference