нейрохаб.рфСправка
← Справка

Прямая оптимизация предпочтений (DPO)

Метод настройки модели на парах предпочтительного и менее удачного ответа. В базовом варианте обходится без отдельного обучения модели награды и цикла RL.

На практике

DPO использует пары предпочитаемых и отвергнутых ответов для прямого изменения модели. Метод позволяет обучаться на предпочтениях без отдельного цикла генерации с моделью награды в классической схеме RLHF.

Что учитывать

Результат зависит от качества пар и выбранной опорной модели. Предпочтения из одной области могут плохо переноситься на другой тип запросов.