Mixture of Experts (MoE)

Архитектура с несколькими блоками-экспертами. Для обработки конкретного токена маршрутизатор выбирает часть экспертов, поэтому активных параметров может быть меньше общего числа.