TorchTraceAP：用于检测计算机视觉模型中性能反模式的新基准数据集
计算机视觉与模式识别
2025-12-17 v1 人工智能
摘要
识别和解决机器学习（ML）模型中的性能反模式对于高效训练和推理至关重要，但通常需要深入的系统基础设施、ML模型和内核开发方面的专业知识。虽然大型科技公司依赖专职ML基础设施工程师分析torch轨迹和基准测试，但此类资源密集型工作流程对一般计算机视觉研究人员而言几乎不可及。在这些挑战中，在冗长的执行轨迹中定位有问题的轨迹段是最耗时的任务，难以自动化，包括当前的LLM模型。本文提出了第一个专为评估和改进ML模型检测反模式能力而设计的基准数据集。我们的数据集包含来自多种硬件平台上来自多样化计算机视觉模型（包括分类、检测、分割和生成）的超过600个PyTorch轨迹。我们还提出了一种新颖的迭代方法：一个轻量级ML模型首先检测具有反模式的轨迹段，然后由大语言模型（LLM）进行细粒度分类和针对性反馈。实验结果表明，我们的方法在检测反模式区域方面显著优于基于聚类的无监督方法和基于统计的规则方法。我们的方法也有效补偿了LLM的有限上下文长度和推理效率不足。
引用
@article{arxiv.2512.14141,
title = {TorchTraceAP: A New Benchmark Dataset for Detecting Performance Anti-Patterns in Computer Vision Models},
author = {Hanning Chen and Keyu Man and Kevin Zhu and Chenguang Zhu and Haonan Li and Tongbo Luo and Xizhou Feng and Wei Sun and Sreen Tallam and Mohsen Imani and Partha Kanuparthy},
journal= {arXiv preprint arXiv:2512.14141},
year = {2025}
}