Intel Labs 在 Ego4D 挑战赛 2022 中的方案：一种更优的视听日记化基线
计算机视觉与模式识别
2023-10-31 v3 声音
音频与语音处理
摘要
本报告描述了我们针对 Ego4D 挑战赛 2022 中视听日记化（Audio-Visual Diarization, AVD）任务的方法。具体而言，我们在官方基线之上提出了多项技术改进。首先，我们通过修改其模型的训练方案，提升了相机佩戴者语音活动的检测性能。其次，我们发现一个现成的语音活动检测模型在仅应用于相机佩戴者语音活动时，可有效去除误报。最后，我们展示了更好的主动说话人检测可带来更好的 AVD 结果。我们的最终方法在 Ego4D 测试集上取得了 65.9% 的 DER，显著优于所有基线。我们的提交在 Ego4D 挑战赛 2022 中获得第一名。
引用
@article{arxiv.2210.07764,
title = {Intel Labs at Ego4D Challenge 2022: A Better Baseline for Audio-Visual Diarization},
author = {Kyle Min},
journal= {arXiv preprint arXiv:2210.07764},
year = {2023}
}
备注
Validation report for the Ego4D challenge at ECCV 2022