用于数字行为改变的视频中矛盾/犹豫识别的 BAH 数据集
计算机视觉与模式识别
2026-04-15 v7 机器学习
摘要
矛盾与犹豫（Ambivalence/Hesitancy, A/H）是密切相关的构念，是个体推迟、避免或放弃健康行为改变的主要原因。它们是微妙且冲突的情绪，使人处于积极与消极取向之间，或接受与拒绝做某事之间的状态。它们表现为多种模态之间或单一模态内部（如面部和声音表情以及肢体语言）的情感不一致。尽管可以像面对面互动那样训练专家识别 A/H，但将其整合到数字健康干预中成本高昂且效果较差。因此，自动 A/H 识别对于数字行为改变干预的个性化和成本效益至关重要。然而，目前尚不存在用于设计识别 A/H 的机器学习模型的数据集。本文介绍了为视频中 A/H 的多模态识别而收集的行为矛盾/犹豫（BAH）数据集。它包含来自加拿大各地 300 名参与者的 1,427 个视频，总时长 10.60 小时，参与者回答了旨在引发 A/H 的预定义问题。它旨在模拟在线提供的真实世界数字行为改变干预。BAH 由三位专家进行标注，提供指示 A/H 发生位置的时间戳，以及带有 A/H 线索的帧级和视频级标注。还提供了视频转录、裁剪并对齐的人脸以及参与者元数据。由于矛盾和犹豫在实践中表现相似，我们提供了指示 A/H 存在与否的二值标注。此外，本文还包括了在 BAH 上使用基线模型进行帧级和视频级识别以及不同学习设置的基准测试结果。有限的性能凸显了对适用于 A/H 识别的多模态和时空模型的需求。数据和代码已公开提供。
引用
@article{arxiv.2505.19328,
title = {BAH Dataset for Ambivalence/Hesitancy Recognition in Videos for Digital Behavioural Change},
author = {Manuela González-González and Soufiane Belharbi and Muhammad Osama Zeeshan and Masoumeh Sharafi and Muhammad Haseeb Aslam and Marco Pedersoli and Alessandro Lameiras Koerich and Simon L Bacon and Eric Granger},
journal= {arXiv preprint arXiv:2505.19328},
year = {2026}
}
备注
46 pages, 21 figures, ICLR 2026