Механизм внимания (attention)
Способ взвешивать доступные представления данных при вычислении нового представления. Позволяет учитывать связи между элементами последовательности; не равнозначен человеческому вниманию.
На практике
Механизм вычисляет, какие доступные элементы входа важны для текущего представления. Например, помогает связать местоимение с соответствующим фрагментом текста.
Что учитывать
Вес внимани�� не являет��я готовым объяснением решения. Допустимые связ�� зависят от маски: при авторегрессионной генерации будущие токены недоступны.