Пропускная способность (throughput)
Объём работы за единицу времени, например запросов или токенов в секунду. Суммарная производительность сервера и скорость ответа одному пользователю — разные показатели.
На практике
Сервер может обрабатывать несколько запросов одновременно и выдавать высокий суммарный поток токенов. Это важно для обслуживания большого числа пользователей.
Что учитывать
Рост суммарного потока может сопровождаться увеличением ожидания каждого пользователя. Сравнение требует одинаковой нагрузки и уточнения, какие токены входят в счётчик.