深度学习——（11）Knowledge distillation理论

1.基本思想

将已经训练好的模型包含的知识，蒸馏到另一个模型中

2. 关键点

• teacher 模型只在训练的过程中使用
• 一个teacher可以用于蒸馏多个student
• 模型的参数量和捕获的知识之间并不是稳定的线性关系，而是接近边际收益逐渐减少的增长曲线
• 使用完全相同的模型架构和模型参数，使用完全形同的训练数据，可以捕获到的知识量并不一定完全相同，有一个关键的因素是——训练的方法

3. 知识蒸馏的理论依据

• 原始模型（teacher）要求：输入x可以相应的输出y。其中y经过softmax映射后，输出值对应的概率值
• 精简模型（student）训练：对于输入x可以输出y，其中y经过softmax后输出相应类别的概率值

4. 知识蒸馏训练过程和传统的训练过程

• 传统：对ground truth求极大似然
• 知识蒸馏：用老师的分类概率作为soft target

5. softmax

原始：

增加温度：

6.知识蒸馏过程

其中的loss分为两个部分

• 第一部分称为Lsoft：表示teacher模型得到的特征softmax的分布 与 student模型得到的特征softmax的分布之间的crossentropy-（两个分布之间的loss）
• 第二部分称为Lhard：表示student模型得到最终的预测值（最终的label，不是上面得到的probability）与ground truth之间的crossentropy（两个确定值之间的loss)——使用该loss的原因：有时候teacher也会出现错误，使用学生预测的值和真实值计算loss，可以有效降低错误传播给学生（有效避免老师对学生的误导）
  最终loss :
  

7. 蒸馏过程中的温度

原始的softmax是温度为1 时候的特立，当温度大于1的时候，概率分布较为平缓，但是当温度小于1的时候，概率分布就很陡峭
**温度的高低衡量的是 在学生网络训练过程中对负标签的关注程度。**温度较低时，对负标签的关注，尤其是那些显著低于平均值的负标签的关注较少，但是当温度较高时，负标签相关的值会相对增大，学生标签会相对更多关注负标签
一般温度如何选择？？

• 从有部分信息量的负标签中学习——>温度要高一些
• 防止受到负标签中噪声的影响——>温度要低一些

下午写一下代码，晚点发！