нейрохаб.рфСправка
← Справка

Механизм внимания (attention)

Способ взвешивать доступные представления данных при вычислении нового представления. Позволяет учитывать связи между элементами последовательности; не равнозначен человеческому вниманию.

На практике

Механизм вычисляет, какие доступные элементы входа важны для текущего представления. Например, помогает связать местоимение с соответствующим фрагментом текста.

Что учитывать

Вес внимани�� не являет��я готовым объяснением решения. Допустимые связ�� зависят от маски: при авторегрессионной генерации будущие токены недоступны.