Энкодер и декодер
Энкодер преобразует вход в представления, а декодер формирует выходную последовательность. Модели могут содержать только энкодер, только декодер или оба компонента.
На практике
Энкодер строит представление входа, а декодер формирует выход с опорой на него. Классический пример — перевод текста с одного языка на другой.
Что учитывать
Не все языковые модели имеют обе части. Есть модели только с энкодером и только с декодером; это влияет на подходящие задачи и способ работы с входом.