Дистилляция
Обучение одной модели с использованием ответов или внутренних представлений другой. Часто применяется для переноса возможностей в более компактную модель.
На практике
Модель-учитель создаёт ответы или другие обучающие сигналы для модели-ученика. Так можно перенести часть поведения большой системы в более компактную.
Что учитывать
Ученик может перенять ошибки учителя и потерять редкие навыки. Результат зависит от примеров и метода обучения, а не только от размера исходной модели.