论文笔记：ThiNet——一种filter级的模型裁剪算法

最新推荐文章于 2024-01-13 15:02:50 发布
原创 最新推荐文章于 2024-01-13 15:02:50 发布 · 5.8k 阅读 · 17
标签
#算法 #deep-learning #论文笔记
ThiNet是一种基于过滤器的深度神经网络压缩方法，考虑了裁剪对下一层的影响。它通过找到能近似原始输出的输入子集进行模型压缩，减少了计算量和参数数量，同时保持模型性能。该算法在VGG16和ResNet-50上取得了良好的实验结果。

论文地址：ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression
本文地址：http://blog.csdn.net/wspba/article/details/77427960

前言

近两年来，有关模型压缩的论文越来越多，人们不再一昧的只追求强大的性能，而是开始慢慢的将模型的大小、运算量以及效率考虑进来，人们做的越来越多的是，在性能可接受的范围内，模型越小越好。这也说明了一点，深度学习模型已经开始被广泛的运用在了平常的生活当中，可以理解为现在的手机和以前的大哥大之间的关系。今天分享的一篇文章是今年ICCV的一篇入选论文，是南京大学的作品：ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression，所提出的一种与以往方式不同的模型裁剪方案。

动机

Pruning Filters for Efficient Convnets、APoZ，这两篇文章可以作为之前公认效果很好的模型压缩的代表，他们分别从每一层的weight以及输出的feature map出发，通过评价weig

最低0.47元/天 解锁文章
ThiNet算法详解
AI之路
09-01 1万+
论文：ThiNet： A Filter Level Pruning Method for Deep Neural Network Compression 论文链接：https://arxiv.org/abs/1707.06342prune（剪枝）是深度学习模型压缩和加速的重要方法。ThiNet是ICCV2017的文章，主要通过prune方式达到模型压缩和加速，prune以filter（卷积核）为单
ThiNet——基于Greedy Method与最小化重建误差的Channel Selection
AI Flash
12-19 2277
  "ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression"这篇文章的主要贡献包括：1）基于贪心策略与最小化重建误差，设计了ThiNet剪枝方法，并且是规整的通道剪枝方法；2）将网络剪枝视作优化问题，并利用下一层的输入输出关系获取统计信息，以决定当前层的剪枝；3）在ImageNet数据集上，获得了良好的...
ThiNet:A Filter Level Pruning Method for Deep Neural Network Compression论文笔记/翻译
weixin_43998119的博客
04-15 533
目录摘要一，介绍二，相关工作三，ThiNet3.1. ThiNet的框架新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 原文地址 为了写主题为剪枝的毕业论文来看这篇论文，时间紧迫有所取舍，不涉及剪枝的部分，总结性的废话适当
剪枝论文四（ThiNet）
蓝鲸鱼的博客
08-04 569
本文介绍了一种剪枝方法（ThiNet） 作者的主要思想：将过滤器修剪正式建立为一个优化问题，并需要使用从其下一层计算的统计信息来修剪过滤器，而不是当前层，这将ThiNet与现有方法区别开来。 如图所示，步骤为： 首先关注虚线框部分，确定几个弱通道及其相应的过滤器(在第一行中以黄色突出显示)。 这些通道(和它们相关的过滤器)对整体性能的贡献很小，因此可以丢弃这些通道，导致模型被修剪。 最后对网络进行微调以恢复其精度。 和之前介绍过的另一篇介绍滤波器修剪的论文——剪枝论文二（Filters Pruning
（论文精读）PRUNING FILTERS FOR EFFICIENT CONVNETS
RuanJianNB的博客
07-02 1838
cnn在各种应用中的成功伴随着计算和参数存储成本的显著增加。最近为减少这些开销所做的努力包括在不损害原始准确性的情况下修剪和压缩各个层的权重。然而，基于幅度的权值剪枝会从全连通层中减少大量的参数，由于剪枝网络的不规则稀疏性，可能不能充分降低卷积层的计算成本。我们提出了一种针对cnn的加速方法，在这种方法中，我们从被识别为对输出精度有小影响的cnn中删除滤波器。通过去除网络中的整个滤波器及其连接特征映射，大大降低了计算量。与剪枝权值相比，这种方法不会产生稀疏连接模式。
ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression 论文学习
calvinpaean的博客
12-19 1014
Abstract 作者提出了一个高效、统一的框架，在训练和测试阶段同步进行CNN模型的加速和压缩。本文聚焦于滤波器级别的裁剪，如果某滤波器不重要，就将其整个去除。该方法不会改变原有网络的结构，因而可以用现有的深度学习框架全部实现。作者将滤波器裁剪任务看作为一个优化问题，我们应该基于下一层的统计信息来裁剪滤波器，而不是当前层，这是ThiNet 和其它方法的不同之处。实验结果证明了该方法的有效性。作者...
论文笔记——ThiNet: A Filter Level Pruning Method for Deep Neural Network Compreesion
weixin_30772261的博客
10-11 103
论文地址：https://arxiv.org/abs/1707.06342 主要思想 选择一个channel的子集，然后让通过样本以后得到的误差最小(最小二乘)，将裁剪问题转换成了优化问题。 这篇论文题目说是对filter的裁剪，其实是对channel的裁剪，对channel裁剪以后，当然涉及filter的裁剪。 对channel裁剪以后当然可以实现压缩和加速。 实现细节 在i＋1层中选择...
Reading Note: ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression
joshua_1988
08-04 2781
TITLE: ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression
剪枝经典论文详解
蓝鲸鱼的博客
09-27 1286
剪枝论文一（Network Slimming）：裁剪BN层权重较小的神经元
模型剪枝学习路线
荆棘鸟的专栏
02-23 987
1.论文 - Learning both Weights and Connections for Efficient Neural Networks https://xmfbit.github.io/2018/03/14/paper-network-prune-hansong/ 2.论文 - Learning Structured Sparsity in Deep Neural Network...
paper reading之卷积神经网络压缩(二)
iMuMu的博客
03-30 467
一、介绍两篇论文1.《ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression》2.《Channel Pruning for Accelerating Very Deep Neural Networks》二、ThiNet: A Filter Level Pruning Method for Deep Neur...
PRUNING FILTERS FOR EFFICIENT CONVNETS
吹啊~吹啊~大风吹~~
04-03 4599
论文题目：PRUNING FILTERS FOR EFFICIENT CONVNETS出处：ICLR 2017 主要贡献：CNN在各种应用中的成功伴随着计算和参数存储成本的显着增加。最近减少这些开销的努力包括，在不损害原始精度的条件下的剪枝和压缩各层的权重。论文就是提出了对卷积层进行剪枝操作，然后进行retrain恢复精度。 实现框架：输入：过程：输出：  细节实现：权重的绝对值越小，则权重的作用...
论文翻译 || 模型剪枝(1)—— PRUNING FILTERS FOR EFFICIENT CONVNETS
magic_ll的博客
04-01 1991
ABSTRACT 在各种应用中的成功伴随着计算和参数存储成本的显著增加。最近为减少这些开销所做的努力包括在不损害原有精度的情况下修剪和压缩各层的权重。然而，基于大小的权值剪枝从完全连通的层中减少了大量的参数，由于剪枝后的网络具有不规则的稀疏性，可能不能充分降低卷积层的计算成本。我们提出了一种cnn的加速方法，我们从被识别为对输出精度影响很小的cnn中删除滤波器。通过去除网络中所有的过滤器及其连接的特征映射，大大降低了计算成本。 与修剪权值相反，这种方法不会导致稀疏连接模式。因此，它不需要稀疏卷积库的支持，
模型剪枝-ICLR2017-Pruning Filters for Efficient ConvNets
weixin_44214375的博客
12-01 2551
Filter 修剪 由于CNN通常在不同的 Filter 和特征信道之间具有显着的冗余，论文中通过修剪 Filter 来减少CNN的计算成本。与在整个网络中修剪权重相比， Filter 修剪是一种自然结构化的修剪方法，不会引入稀疏性，因此不需要使用稀疏库或任何专用硬件。通过减少矩阵乘法的次数，修剪 Filter 的数量与加速度直接相关，这很容易针对目标加速进行调整。 卷积核层面的模型剪枝 本质方法。就是计算每一个filter上权重绝对值之和，去掉m个权重最小的filters，并同时去掉与其相关的特征图及下一
PRUNING FILTERS FOR EFFICIENT CONVNETS(L1)
m0_68178753的博客
01-13 1315
摘要CNN 在各种应用中的成功伴随着计算和参数存储成本的显着增加。最近为减少这些开销所做的努力包括在不损害原始准确性的情况下修剪和压缩各个层的权重。然而，基于幅度的权重剪枝减少了来自全连接层的大量参数，并且由于剪枝网络中的不规则稀疏性，可能无法充分降低卷积层中的计算成本。我们提出了一种 CNN 加速方法，其中我们从 CNN 中修剪那些被认为对输出精度影响较小的滤波器。通过删除网络中的整个过滤器及其连接的特征图，计算成本显着降低。与修剪权重相比，这种方法不会导致稀疏连接模式。
Pruning Filters for Efficient ConvNets详解
AI人工智能的海洋
06-04 2125
Pruning Filters for Efficient ConvNets 作者：张松 论文： https://arxiv.org/pdf/1608.08710.pdf github代码：https://github.com/tyui592/Pruning_filters_for_efficient_convnets 主要思想： 由于CNN通常在不同的 Filter 和特征信道之间具有显着的冗余，论文中通过裁剪 Filter 来减少CNN的计算成本。裁剪方法是计算L1范数，然后裁剪掉较
【论文翻译】【剪枝】Pruning filters for efficient convnets修剪滤波以实现高效卷积网络
weixin_50862344的博客
02-05 1428
【论文翻译】【剪枝】Pruning filters for efficient convnets修剪滤波以实现高效卷积网络
【PRUNING FILTERS FOR EFFICIENT CONVNETS】半译笔记
epic_Lin的博客
10-17 780
摘要 近期关于降低模型压力的方法包括在不降低原始精度的情况下修剪和压缩不同层的权重。基于大小的权值剪枝（magnitude-based pruning of weight）减少了全连接层中的大量参数，但由于经过剪枝的网络中的不规则稀疏性（irregular sparsity in the pruned networks），可能不能充分降低卷积层中的计算成本。我们提出了一种CNN的加速方法，从被认为对输出精度影响很小的CNN中删除滤波器（filters）。通过去除网络中的整个滤波器及其连接特征图（their
论文翻译 || 模型剪枝(2)——ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression
magic_ll的博客
04-14 1428
https://arxiv.org/abs/1707.06342 Abstract 我们提出了一个高效统一的框架，即ThiNet，在训练和推理阶段同时加速和压缩CNN模型。我们关注的是过滤器级别的剪枝，也就是说，如果整个过滤器不那么重要，那么它将被丢弃。我们的方法不改变原有的网络结构，因此它可以被任何现成的深度学习库完美地支持。我们将滤波器剪枝作为一个优化问题建立起来，并揭示我们需要根据从下一层计算的统计信息来修剪过滤器，而不是当前的层，这ThiNet与现有的方法不同。实验结果表明了该策略的有效性，提高了
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值