双阶段重加权混合专家用于长尾轶常错误检测
计算机视觉与模式识别
2025-10-06 v2 人工智能
机器学习
摘要
本报告提出了解决从轶恋视频数据中判断用户是否执行错误动作的问题。为处理细微且不频繁的错误所带来的挑战，我们提出了双阶段重加权混合专家（Dual-Stage Reweighted Mixture-of-Experts, DR-MoE）框架。在第一阶段，使用冻结的ViViT模型和LoRA微调的ViViT模型提取特征，通过特征级专家模块进行组合。在第二阶段，训练三个不同目标的分类器：重加权交叉熵以缓解类别不平衡、AUC损失以提高在偏斜分布下的排序效果、以及带锐度感知最小化的标签感知损失以增强校准和泛化能力。其预测通过分类级专家模块进行融合。该方法在识别罕见和模糊错误实例方面取得了强劲性能。代码已公开于https://github.com/boyuh/DR-MoE。
引用
@article{arxiv.2509.12990,
title = {Dual-Stage Reweighted MoE for Long-Tailed Egocentric Mistake Detection},
author = {Boyu Han and Qianqian Xu and Shilong Bao and Zhiyong Yang and Sicong Li and Qingming Huang},
journal= {arXiv preprint arXiv:2509.12990},
year = {2025}
}