Дистилляция

Обучение одной модели с использованием ответов или внутренних представлений другой. Часто применяется для переноса возможностей в более компактную модель.