深度神经网络在推理早期阶段即可确定其输出属性，偏置可能驱动时序
机器学习
2025-02-13 v1 计算机视觉与模式识别
摘要
本文论证，深度神经网络（DNN）在推理的早期阶段即可确定其输出，其中固有偏置在塑造这一过程方面发挥着关键作用。我们将这一现象与人类决策-making 类比，后者常依赖快速、直观的启发式方法。以扩散模型（DM）为案例研究，展示DNN在早期阶段的决策-making 受模型设计和训练中偏置类型及程度的影响。我们的发现为偏置缓解、高效推理以及机器学习系统的解释提供了新视角。通过识别DNN决策-making 的时间动态，本文旨在激发机器学习社区的进一步讨论与研究。
引用
@article{arxiv.2502.08167,
title = {DNNs May Determine Major Properties of Their Outputs Early, with Timing Possibly Driven by Bias},
author = {Song Park and Sanghyuk Chun and Byeongho Heo and Dongyoon Han},
journal= {arXiv preprint arXiv:2502.08167},
year = {2025}
}
备注
First two authors contributed equally