Ego4D 社交互动挑战赛的 PCIE_Interaction 解决方案
计算机视觉与模式识别
2025-06-02 v1
摘要
本报告介绍了我们团队针对 CVPR 2025 Ego4D 社交互动挑战赛的 PCIE_Interaction 解决方案，处理了“看着我”（Looking At Me, LAM）和“对我说话”（Talking To Me, TTM）两项任务。该挑战要求准确检测主体与相机佩戴者之间的社交互动，其中 LAM 仅依赖人脸裁剪序列，而 TTM 将说话者人脸裁剪与同步音频片段相结合。在 LAM 赛道中，我们采用了人脸质量增强和集成方法。对于 TTM 任务，我们通过融合音频和视觉线索来扩展视觉互动分析，并以视觉质量分数进行加权。我们的方法在 LAM 和 TTM 挑战赛排行榜上分别取得了 0.81 和 0.71 的平均精度均值（mAP）。代码可在 https://github.com/KanokphanL/PCIE_Ego4D_Social_Interaction 获取
引用
@article{arxiv.2505.24404,
title = {PCIE_Interaction Solution for Ego4D Social Interaction Challenge},
author = {Kanokphan Lertniphonphan and Feng Chen and Junda Xu and Fengbu Lan and Jun Xie and Tao Zhang and Zhepeng Wang},
journal= {arXiv preprint arXiv:2505.24404},
year = {2025}
}