Бенчмарк
Набор заданий и правил оценки, по которым сравнивают модели. Результат зависит от версии теста, настроек и способа запуска.
На практике
Бенчмарк задаёт набор заданий и способ подсчёта результата. Он полезен для сравнения моделей в одинаковых условиях, например по решению задач программирования.
Что учитывать
Разные настройки, подсказки и инструменты меняют результат. Высокая общая оценка не заменяет проверку на реальных задачах пользователя и не исключает утечки тестовых данных.