EgoAdapt：用于高效自我中心感知的自适应多感官蒸馏与策略学习
计算机视觉与模式识别
2025-06-27 v1 人工智能
机器学习
摘要
现代感知模型，特别是为多感官自我中心任务设计的模型，已经取得了显著的性能，但通常伴随着大量的计算成本。这些高需求给现实世界部署带来了挑战，尤其是在资源受限的环境中。在本文中，我们引入了 EgoAdapt，这是一个自适应地执行跨模态蒸馏和策略学习的框架，以在不同自我中心感知任务中实现高效推理，包括自我中心动作识别、主动说话者定位和行为预测。我们提出的策略模块可适应特定任务的动作空间，使其具有广泛适用性。在三个具有挑战性的自我中心数据集 EPIC-Kitchens、EasyCom 和 Aria Everyday Activities 上的实验结果表明，我们的方法显著提高了效率，GMACs 最多减少 89.09%，参数最多减少 82.02%，能耗最多降低 9.6 倍，同时仍与相应最先进模型的性能持平，并在许多情况下优于它们。
引用
@article{arxiv.2506.21080,
title = {EgoAdapt: Adaptive Multisensory Distillation and Policy Learning for Efficient Egocentric Perception},
author = {Sanjoy Chowdhury and Subrata Biswas and Sayan Nag and Tushar Nagarajan and Calvin Murdock and Ishwarya Ananthabhotla and Yijun Qian and Vamsi Krishna Ithapu and Dinesh Manocha and Ruohan Gao},
journal= {arXiv preprint arXiv:2506.21080},
year = {2025}
}
备注
Accepted at ICCV 2025