нейрохаб.рфСправка

Справка

Термины и понятия, которые встречаются в работе с ИИ.

32записей
Записей: 32

Агент

Программа, которая использует модель для выбора действий и работы с инструментами. Например, может найти информацию, обработать её и подготовить файл.

Бенчмарк

Набор заданий и правил оценки, по которым сравнивают модели. Результат зависит от версии теста, настроек и способа запуска.

Веса модели

Числовые параметры, которые модель приобрела в ходе обучения. Для самостоятельного запуска обычно нужны файлы весов и совместимое программное обеспечение.

Видеопамять (VRAM)

Память видеокарты. При запуске нейросети в ней размещаются веса модели и промежуточные данные. Одного размера файла весов недостаточно для точной оценки потребления памяти.

Визуально-языковая модель

Модель, работающая с изображениями и текстом. В зависимости от обучения она может описывать изображения, находить объекты или распознавать текст.

Вызов инструментов (tool calling)

Модель формирует запрос на выполнение функции с аргументами. Приложение проверяет запрос, выполняет разрешённое действие и возвращает результат модели. Сам текст ответа модели ещё не означает выполнения действия.

Галлюцинация

Правдоподобный, но неверный или неподтверждённый ответ модели. Уверенный тон ответа не означает, что информация проверена.

Датасет

Набор данных для обучения или проверки модели: тексты, изображения, звук и другие примеры.

Дистилляция

Обучение одной модели с использованием ответов или внутренних представлений другой. Часто применяется для переноса возможностей в более компактную модель.

Дообучение (fine-tuning)

Дополнительное обучение готовой модели на выбранных данных, чтобы изменить её поведение или адаптировать к задаче.

Инференс

Использование уже обученной модели для получения результата: ответа, изображения, распознавания речи и других предсказаний.

Квантизация

Представление параметров модели с меньшей числовой точностью. Помогает уменьшить объём памяти; влияние на качество и скорость зависит от метода и оборудования.

Контекстное окно

Объём информации, который модель может учитывать в одном запросе. Обычно измеряется в токенах и включает входные данные и, в зависимости от модели, ответ.

Локальная нейросеть

Модель, которая выполняется на вашем устройстве. Требования к памяти и скорости зависят от размера модели, формата весов и программы запуска.

Мультимодальность

Работа модели с несколькими видами данных, например текстом и изображениями. Поддержка входа не обязательно означает генерацию данных того же типа.

Открытые веса

Веса доступны для скачивания. Лицензия при этом может ограничивать способы использования; открытые веса и открытая лицензия — разные свойства.

Промпт

Входная инструкция или запрос к модели. Может содержать задачу, контекст, примеры и требования к формату ответа.

Рассуждение

Способ решения задачи, при котором модель выполняет дополнительные промежуточные вычисления перед ответом. Это не гарантирует правильность результата.

Реранкер

Модель, которая повторно оценивает найденные документы относительно запроса и меняет порядок результатов. Обычно применяется после первого этапа поиска.

Сервер инференса

Программа, которая загружает модель, принимает запросы и возвращает результаты вычислений через API. Модель и сервер инференса — отдельные компоненты.

Структурированный ответ

Ответ модели, ограниченный заданной схемой, например JSON Schema. Упрощает разбор результата программой, но не гарантирует достоверность содержащихся в нём фактов.

Температура

Параметр семплирования, меняющий распределение вероятностей токенов. Более высокая температура обычно увеличивает разнообразие ответов, а низкая делает выбор предсказуемее.

Токен

Единица, на которую модель разбивает данные. Для текста это может быть часть слова, целое слово или знак; токены не равны словам.

Эмбеддинг

Числовой вектор, представляющий объект, например текст. Используется для поиска по смыслу, группировки и сравнения.

API

Интерфейс для обращения к программе из другой программы. Через API приложение может отправлять запросы модели и получать ответы.

GGUF

Формат хранения моделей и метаданных, распространённый в инструментах локального запуска на основе llama.cpp.

KV-кэш

Сохранённые ключи и значения механизма внимания, позволяющие не пересчитывать предыдущие токены при генерации. Кэш занимает память и растёт с длиной контекста.

LLM

Large Language Model — большая языковая модель, обученная работать с последовательностями токенов. Может создавать текст, анализировать документы и помогать с кодом.

LoRA

Метод адаптации модели с обучением небольших дополнительных матриц вместо всех её параметров. Обычно требует меньше ресурсов, чем полное дообучение.

MCP

Протокол подключения ИИ-приложений к инструментам и источникам данных. MCP задаёт общий способ взаимодействия клиента и сервера; доступные действия зависят от конкретного сервера и разрешений.

Mixture of Experts (MoE)

Архитектура с несколькими блоками-экспертами. Для обработки конкретного токена маршрутизатор выбирает часть экспертов, поэтому активных параметров может быть меньше общего числа.

RAG

Retrieval-Augmented Generation: перед ответом система находит релевантные материалы и передаёт их модели как контекст. Сам по себе поиск не меняет веса модели.