利用PyTorch实现的多种知识蒸馏技术(Python版本)。

简介：
PyTorch 实现了多种知识蒸馏技术，具体体现在 Knowledge-Distillation-Zoo 项目中。 该知识库主要提供基础知识蒸馏和知识转移方法的简要参考，并未涵盖诸如逐步训练、迭代训练、教师模型集成、知识蒸馏方法集成、无数据蒸馏、自蒸馏以及量化等诸多高级技巧和变体。 我们期望此资源能够对您的项目或研究工作有所裨益。 为了保证内容的及时性和完整性，我将定期更新该仓库中的 KD 方法。 如果您发现此处遗漏了某些基本的知识蒸馏方法，欢迎随时与我联系提出建议。 以下列出了一些方法及其相关信息： * **Name** | **Method** | **Paper Link** | **Code Link** | **Baseline** | **Basic model with softmax loss** ---|---|---|---|---|--- — | Logits 回归模拟学习 | 论文代码 | — | — | 代码 ST 软目标 | 论文代码 | — | — | — | — AT 注意力转移 | 论文代码 | — | — | — | — Fitnet 提示薄深度网络| 论文代码|—|—|—|— NST 神经选择性转移| 论文代码|—|—|—|— PKT 概率知识转移| 论文代码|—|—|—|— FSP 求解流程过程| 论文代码|—|—|—|— FT 因子转移 | 论文代码 | — | — | — | —— RKD 关系知识蒸馏 | 论文代码 | —— | —— | —— | —— AB 激活边界 | 论文代码 ||——||—— SP 相似性保存 ||——||——||—— Sobolev sobolev/jacobian匹配论文代码 BSS边 。