нейрохаб.рфСправка
← Справка

Дистилляция

Обучение одной модели с использованием ответов или внутренних представлений другой. Часто применяется для переноса возможностей в более компактную модель.

На практике

Модель-учитель создаёт ответы или другие обучающие сигналы для модели-ученика. Так можно перенести часть поведения большой системы в более компактную.

Что учитывать

Ученик может перенять ошибки учителя и потерять редкие навыки. Результат зависит от примеров и метода обучения, а не только от размера исходной модели.