面向基于视觉的情感识别的双噪声消除动态双阶段净化框架 D2SP
计算机视觉与模式识别
2024-11-07 v2 人工智能
摘要
当代动态面部表情识别（DFER）技术的最新进展在训练大规模数据集后，显著推动了从视频内容中派生情感映射的能力。然而，DFER数据集中包含大量噪声数据。噪声来源于质量不足的捕获无法进行合理标注，以及因标注偏差导致的误标注，引发两种主要不确定性：数据可用性不确定性和标签可靠性不确定性。针对这两种不确定性，我们精心构建了一个两阶段框架，旨在 \textbf{S}eek \textbf{C}ertain data \textbf{I}n extensive \textbf{U}ncertain data（SCIU）。该计划旨在净化DFER数据集中的这些不确定性，从而确保仅使用干净、经验证的数据进行训练。为缓解低质量样本问题，我们引入粗粒度修剪（CGP）阶段，通过评估样本权重剔除因权重过低而被判定为不可用的数据。对于标签错误的样本，精细纠正（FGC）阶段评估预测稳定性以纠正误标数据。此外，SCIU被设想为一种通用兼容、即插即用的数据净化框架，旨在无缝集成到现有的DFER方法中。跨多个主流DFER数据集和众多基准方法的严格实验表明，SCIU显著提升了性能指标。
引用
@article{arxiv.2406.16473,
title = {D2SP: Dynamic Dual-Stage Purification Framework for Dual Noise Mitigation in Vision-based Affective Recognition},
author = {Haoran Wang and Xinji Mai and Zeng Tao and Xuan Tong and Junxiong Lin and Yan Wang and Jiawen Yu and Boyang Wang and Shaoqi Yan and Qing Zhao and Ziheng Zhou and Shuyong Gao and Wenqiang Zhang},
journal= {arXiv preprint arXiv:2406.16473},
year = {2024}
}