交互式日常生活活动的少样本分类（InteractADL）
计算机视觉与模式识别
2024-10-18 v2 人工智能
摘要
理解日常生活活动（ADL）是辅助机器人、智能家居和医疗保健等不同应用的关键步骤。然而，迄今为止，很少有基准和方法关注复杂的ADL，特别是那些涉及家庭环境中多人交互的ADL。在本文中，我们提出了一个新的数据集和基准InteractADL，用于理解涉及人（和物体）之间交互的复杂ADL。此外，家庭环境中发生的复杂ADL由于多人交互的稀有性而呈现出具有挑战性的长尾分布，并且由于存在语义和视觉上相似的类别而构成了细粒度视觉识别任务。为了解决这些问题，我们提出了一种新颖的细粒度少样本视频分类方法，称为名称调优（Name Tuning），通过学习最优的类别名称向量来实现更大的语义可分性。我们表明，名称调优可以与现有的提示调优策略相结合，以学习整个输入文本（而不仅仅是学习提示或类别名称），并在InteractADL和其他4个细粒度视觉分类基准上展示了少样本分类性能的提升。为了透明度和可重复性，我们在 https://github.com/zanedurante/vlm_benchmark 发布了我们的代码。
引用
@article{arxiv.2406.01662,
title = {Few-Shot Classification of Interactive Activities of Daily Living (InteractADL)},
author = {Zane Durante and Robathan Harries and Edward Vendrow and Zelun Luo and Yuta Kyuragi and Kazuki Kozuka and Li Fei-Fei and Ehsan Adeli},
journal= {arXiv preprint arXiv:2406.01662},
year = {2024}
}