PSPNet logits 蒸馏和特征蒸馏

PSPNet logits 蒸馏和特征蒸馏

Introduction

随着神经网络和CNN的发展，越来越多的复杂问题可以得到解决，但近年来，伴随着计算机的性能提升，神经网络结构变得越来越复杂和庞大。为了获得更高性价比的模拟计算，神经网络的迁移学习和压缩算法逐渐受到更多关注。研究人员期望以更小的时间成本和存储成本来获得更灵活的网络应用。
关于提高网络效率和准确性的问题，本文采用logits蒸馏和特征蒸馏的结合蒸馏方法，利用ResNet50为backbone的PSPNet模型来teach ResNet18 为backbone的PSPNet模型，并在PASCAL-VOC2012增强数据集上进行训练和测试。

Innovations

1.这篇文章结合了logits蒸馏和特征蒸馏各自的优点，融合了两种算法对PSPnet进行压缩。使学生网络可以同时从中间层和输出层引用教师网络，并且有技巧地规避了特征维度不匹配的问题。
2.结合PSPnet本身的网络特点，针对性地改进了适合这个网络蒸馏训练的loss函数，并通过实验验证了其有效性。

蒸馏现状

到目前为止，主要有两大类知识蒸馏：一类是logits蒸馏，另一类是特征蒸馏。前者是直接匹配网络输出的概率分布或学习一批logits的分布来强制匹配；后者是直接匹配中间的特征或学习特征之间的转换关系。例如，在特征No.1和No.2中间，知识可以表示为如何模做两者中间的转化，可以用一个矩阵让学习者产生这个矩阵，学习者和转化之间的学习关系。
目前这两种方法都有比较严谨的算法思路，可以让网络以小部分的性能为代价，大幅提高训练难度和训练时间，让深度网络在空间或时间限制的应用中得到更广泛的使用。
第一种方法最初是由Hilton提出的，通过引入与复杂但可高度概括的学生网络相关的软目标来实现信息传递，作为学习者网络训练整体损失的一部