文献笔记（101）动态神经网络

文章目录1 abstract & introduction2 方法题目：Thanks for Nothing: Predicting Zero-Valued Activations with Lightweight Convolutional Neural Networks时间：2020会议：ECCV研究机构：以色列理工学院1 abstract & introduction根据输出

tiaozhanzhe1900

371人浏览 · 2021-04-17 15:55:11

tiaozhanzhe1900 · 2021-04-17 15:55:11 发布

文章目录

1 abstract & introduction
2 方法
1 introduction

题目：Thanks for Nothing: Predicting Zero-Valued Activations with Lightweight Convolutional Neural Networks
时间：2020
会议：ECCV
研究机构：以色列理工学院

1 abstract & introduction

根据输出特征图的相邻值，动态预测输出特征图是否为零值，从而减少了卷积运算的次数。

Motivation： 来自特征图的空间相关性
在这里插入图片描述

2 方法

在这里插入图片描述
如图所示，首先对输出特征图进行采样，计算部分的输出特征值，即 $X_o[I_s]$ ，并将其送进零激活预测器(ZAP)中，计算得到还没计算的那些输出特征图 $X_o[I_t]$ 中，哪些是零，以此减少这部分的计算量。

能减少多少的计算量呢？ 上界取决于采样的比例
$\alpha = \frac{|I_s|}{w_o h_o c_o}$

在这里插入图片描述
ZAP的实现方法： 主要依靠深度可分解卷积实现，降低了计算量

题目：Dynamic Group Convolution for Accelerating Convolutional Neural Networks
时间：2020
会议：ECCV
研究机构：芬兰奥卢大学/华南理工

1 introduction

本篇论文的主要贡献： 动态组卷积

相比于普通卷积减少了计算量
相比于静态组卷积针对不同图像增加了灵活度

在这里插入图片描述
上图横坐标为输入通道，纵坐标是对某一特定输出通道的贡献度，可以发现输入通道对不同图片的输出通道贡献度不同，直接上组卷积有损失

在这里插入图片描述
对此改进的动态组卷积如上图所示，其实和普通卷积很像，只是输入通道可以动态选择，相当于动态剪枝了。其中的决策网络利用了全局池化层

技术共进，成长同行——讯飞AI开发者社区

更多推荐

AI预测设备故障，智能制造新突破

智能制造设备产生的海量数据为人工智能提供了丰富的信息来源。集成学习方法通过组合多个基模型的预测结果，显著提升故障分类的准确率。图神经网络（GNN）能够建模设备组件间的拓扑关系，将轴承、齿轮和电机的监测数据转化为统一的特征表示。迁移学习框架允许模型将在某类设备上学习的知识迁移到新型号设备，显著减少对新故障样本的需求。联邦学习方案确保不同工厂的数据在本地进行模型训练，仅共享加密的梯度更新，满足数据隐私