нейрохаб.рфСправка
← Справка

Пропускная способность (throughput)

Объём работы за единицу времени, например запросов или токенов в секунду. Суммарная производительность сервера и скорость ответа одному пользователю — разные показатели.

На практике

Сервер может обрабатывать несколько запросов одновременно и выдавать высокий суммарный поток токенов. Это важно для обслуживания большого числа пользователей.

Что учитывать

Рост суммарного потока может сопровождаться увеличением ожидания каждого пользователя. Сравнение требует одинаковой нагрузки и уточнения, какие токены входят в счётчик.