Проект llm-d
Международный открытый проект распределённого инференса. Участник CNCF Sandbox; основан Google, Red Hat, IBM и другими организациями.
- Страна
- Международная
- Запрещенная организация
- Нет
Софт
llm-d
Открытый стек распределённого инференса языковых моделей в Kubernetes. Координирует маршрутизацию запросов, повторное использование KV-кеша и нагрузку на пул ускорителей.
llm-d 1.0 добавил управление распределённым инференсом агентов
Стек объединяет серверы моделей в общий пул с маршрутизацией по кешу и нагрузке. В 1.0 появились API v1, управление приоритетами и справедливым распределением трафика, отказоустойчивость маршрутизатора и обновления без потери контекста. Это помогает обслуживать длительные агентные задачи вместе с интерактивными запросами.