申请试用
HOT
登录
注册
 
发现并解释神经网络的表征瓶颈
发现并解释神经网络的表征瓶颈

发现并解释神经网络的表征瓶颈

白玉兰开源
/
发布于
/
100
人观看

对神经网络表征能力的研究,一直是深度学习领域最核心的问题之一。前人研究通常采用单个量化指标(如准确率、模型复杂度、对抗鲁棒性等)评价神经网络的表达能力。这项研究首次从神经网络中海量交互概念的复杂度出发,探索神经网络在特征表达方面的公共瓶颈。我们发现了神经网络的表征瓶颈现象,即神经网络往往善于建模极为简单和极为复杂的交互概念,而不善于建模中等复杂度的交互概念。这一表征瓶颈普遍存在于不同任务、不同结构下的神经网络。这项研究进一步理论解释了这一表征瓶颈的内在机理。此外,该研究提出了新的方法反馈指导神经网络学习特定复杂度的交互概念,并研究了概念复杂度与表征能力的联系,为神经网络表达能力的研究提供了众多新的视角。

0 点赞
0 收藏
0下载
确认
3秒后跳转登录页面
去登陆