解耦式提示-适配器调谐用于持续动作识别
计算机视觉与模式识别
2024-07-23 v1 人工智能
摘要
动作识别技术在通过监控系统提升安防、在医疗保健领域实现更好的患者监测、在体育领域提供深入的绩效分析，以及在制造和助行技术等领域促进人机协作中发挥着关键作用。这些领域数据动态性的本质凸显了持续适应新视频数据且不丢失先前知识的模型需求，凸显了先进持续动作识别的关键作用。为此，我们提出了一种称为解耦式提示-适配器调谐(DPAT)的新型框架，通过解耦训练策略集成捕获空间时间信息的适配器和用于缓解灾难性遗忘的可学习提示。DPAT独特地在预训练视觉模型中平衡了提示调谐的泛化优势与适配器提供的灵活性，有效解决了在持续数据演化中维持模型性能的挑战，而无需大量微调。DPAT在几个具有挑战性的动作识别基准测试中始终实现了最先进的性能，充分展示了其在持续动作识别领域的有效性。
引用
@article{arxiv.2407.14811,
title = {Decoupled Prompt-Adapter Tuning for Continual Activity Recognition},
author = {Di Fu and Thanh Vinh Vo and Haozhe Ma and Tze-Yun Leong},
journal= {arXiv preprint arXiv:2407.14811},
year = {2024}
}