нейрохаб.рфСправка
← Справка

Mixture of Experts (MoE)

Архитектура с несколькими блоками-экспертами. Для обработки конкретного токена маршрутизатор выбирает часть экспертов, поэтому активных параметров может быть меньше общего числа.

На практике

В архитектуре MoE маршрутизатор выбирает часть экспертных блоков для обработки каждого токена. Это позволяет увеличить общее число параметров без использования всех экспертов на каждом шаге.

Что учитывать

Число активных параметров не равно объёму весов, которые нужно хранить. Требования к памяти и скорость зависят от реализации и распределения экспертов по устройствам.