Distilling Knowledge

Distilling knowledge

文章标题：Distilling the knowledge in a neural network

作者：Hinton G, Vinyals O, Dean J.

发表时间：(NIPS 2014)

Distillation

$$ q_i = \frac{exp(z_i/T)}{\sum _j exp(z_j/T)} $$

拓展阅读

论文主页

蒸馏机理论文

Hinton-NeurIPS2019论文：When Does Label Smoothing Help?

ICLR2021论文：Is Label Smoothing Truly Incompatible with Knowledge Distillation: An Empirical Study ：知乎解读

Does Knowledge Distillation Really Work? ：知乎解读

标签平滑和知识蒸馏的关系

发展趋势

多老师多学生

知识的表示、数据集蒸馏、对比学习：

Attention Transfer论文：https://arxiv.org/abs/1612.03928

Dataset Distillation

多模态、知识图谱、预训练大模型的知识蒸馏

论文解读

Knowledge Distillation 百科

Knowledge distillation in deep learning and its applications

Knowledge Distillation: Principles, Algorithms, Applications

Hinton官方PPT

知乎：知识蒸馏是什么？一份入门随笔——公式（2）的详细推导

知乎：【经典简读】知识蒸馏(Knowledge Distillation) 经典之作

知乎：哪位来聊聊深度学习知识蒸馏（knowledge distillation）？

博客解读1

博客解读2

博客解读3

博客解读4

知乎:陀飞轮

代码库