Визуально-языковая модель
Модель, работающая с изображениями и текстом. В зависимости от обучения она может описывать изображения, находить объекты или распознавать текст.
На практике
Такая модель связывает визуальные признаки с текстом и может отвечать на вопросы о фотографии. Например, описать расположение предметов или прочитать часть надписи.
Что учитывать
Мелкие детали, точный подсчёт и сложная вёрстка могут вызывать ошибки. Для извлечения текста из документов полезно сравнить результат со специализированным OCR.