知识蒸馏

用大模型（教师）的输出训练小模型（学生）的技术。

蒸馏让学生模仿教师的答案与分布，以接近大模型的性能、几十分之一的成本部署。许多「mini」「nano」版本模型即由蒸馏产生。