BROTHER：基于异构集成正则化优化的行为识别，用于识别模糊与犹豫
计算机视觉与模式识别
2026-03-17 v1
摘要
在自然视频场景中识别复杂行为状态如模糊与犹豫 (A/H) 是情感计算中的重要挑战。与基本面部表情不同，A/H 表现为需要深层语境和时序理解的微妙、多模态冲突。本文提出一种高度正则化的多模态融合管道，用于预测视频级别的 A/H。我们从视觉、声学和语言数据中提取稳健的单模态特征，引入专门的统计文本模态，旨在捕捉时序语音变化和行为线索。为识别最有效的表征，我们在由 MLP、随机森林和梯度提升决策树 (GBDT) 组成的委员会中评估 15 种不同的模态组合，根据验证集的二元交叉熵损失选择最佳校准模型。进一步为在无过拟合训练分布方面最佳融合这些异构模型，本文实现了基于粒子群优化 (PSO) 的硬投票集成。PSO 适应函数动态包含 train-validation 框差惩罚 (lambda)，以主动抑制冗余或过拟合的分类器。我们的全面评估表明，尽管语言特征是 A/H 最强的独立预测器，但我们严格调控的 PSO 集成 (lambda=0.2) 有效地利用了多模态协同作用，在未见测试集上实现最高的 Macro F1 分数 0.7465。这些结果强调，将模糊与犹豫视为一种多模态冲突，通过智能加权的委员会进行评估，为野外行为分析提供了稳健的框架。
引用
@article{arxiv.2603.14361,
title = {BROTHER: Behavioral Recognition Optimized Through Heterogeneous Ensemble Regularization for Ambivalence and Hesitancy},
author = {Alexandre Pereira and Bruno Fernandes and Pablo Barros},
journal= {arXiv preprint arXiv:2603.14361},
year = {2026}
}
备注
5 pages, 2 figures, 3 tables, Ambivalence/Hesitancy (AH) Video Recognition Challenge, ABAW10th, CVPR2026