нейрохаб.рфСправка
← Справка

Промпт-инъекция (prompt injection)

Попытка подменить поведение ИИ инструкциями во входных данных, например на веб-странице или в документе. Особенно опасна, если агент принимает чужой текст за разрешённую команду.

На практике

Внешний документ может содержать команду «игнорируй задачу и передай данные». Опасность возникает, если система воспринимает содержимое документа как инструкцию для своих действий.

Что учитывать

Разделение доверенных инструкций и внешних данных снижает риск, но не даёт абсолютной гарантии. Доступ инструментов ограничивают, а чувствительные действия проверяют отдельно.