图像自回归模型中的记忆定位与缓解
介观与纳米尺度物理
2025-09-03 v1 其他凝聚态物理
摘要
图像自回归（IAR）模型在图像生成速度和质量方面已取得最先进的性能，但也引发了关于其训练数据记忆及其隐私影响的担忧。本工作探索了这种记忆在不同图像自回归架构中的位置和方式，通过测量细粒度记忆来进行分析。分析结果表明，不同IAR架构的记忆模式各不相同。在分层分辨率架构中，记忆倾向于在早期出现并随分辨率深化；而在采用标准自回归逐token预测的IAR中，记忆集中于后期处理阶段。这些记忆模式的局部化进一步与IAR的记忆能力和泄露训练数据能力相关。通过干预其最易记忆的组件，可显著减少从IAR中提取数据的能力，而对生成图像质量的影响最小。这些发现为理解图像生成模型的内部行为提供了新的见解，并指向了缓解隐私风险的实用策略。
引用
@article{arxiv.2509.00486,
title = {Shot noise as a probe for Andreev reflection in graphene-based heterojunctions},
author = {Shahrukh Salim and Poornima Shakya},
journal= {arXiv preprint arXiv:2509.00486},
year = {2025}
}