信息流能否为神经环路中的干预提供目标？
信息论
2023-07-21 v1 人工智能
机器学习
math.IT
神经元与认知
机器学习
摘要
受神经科学与临床应用驱动，我们实证考察观测性信息流度量能否为干预提供建议。为此，我们在机器学习公平性的背景下对人工神经网络进行实验，其目标是通过干预使系统获得公平性。利用我们近期开发的-信息流框架，我们度量了关于真实标签（关乎精度，因而是可取的）的信息流，以及关于受保护属性（关乎偏差，因而是不可取的）的信息流在已训练神经网络各边上的流动。随后我们将流大小与通过剪枝干预这些边的效果进行比较。我们表明，剪枝携带较大关于受保护属性信息流的边能更大程度地降低输出偏差。这表明-信息流能够有意义地建议干预目标，以肯定方式回答了标题的问题。我们还评估了不同干预策略的偏差-精度权衡，以分析如何利用可取与不可取信息流（此处为精度流与偏差流）的估计来指导在保留前者同时降低后者的干预。
引用
@article{arxiv.2111.05299,
title = {Can Information Flows Suggest Targets for Interventions in Neural Circuits?},
author = {Praveen Venkatesh and Sanghamitra Dutta and Neil Mehta and Pulkit Grover},
journal= {arXiv preprint arXiv:2111.05299},
year = {2023}
}
备注
Accepted to the Thirty-fifth Conference on Neural Information Processing Systems (NeurIPS 2021). (29 pages; 61 figures)