面向人类动作识别的 conformal 预测：结合视觉语言模型
计算机视觉与模式识别
2025-07-23 v2 人工智能
摘要
人机交互（HITL）系统在AI必须与人类决策者协作的高风险实际应用中至关重要。本工作研究了如何应用conformal prediction（CP）技术，这些技术提供严格的覆盖保证，以增强建立在视觉语言模型（VLM）之上的最先进的人类动作识别（HAR）系统的可靠性。我们证明了CP可以显著减少平均候选类别数，而无需修改底层VLM。然而，这些减少常常导致分布呈长尾分布，可能阻碍其实际用途。为此，我们提出通过调节softmax预测的温度，而无需使用额外的校准数据来缓解此问题。本工作为多模态人机交互在动态实际环境中的持续努力做出了贡献。
引用
@article{arxiv.2502.06631,
title = {Conformal Predictions for Human Action Recognition with Vision-Language Models},
author = {Bary Tim and Fuchs Clément and Macq Benoît},
journal= {arXiv preprint arXiv:2502.06631},
year = {2025}
}
备注
6 pages, 7 figures, Accepted to ICIP 2025 Workshops