Прямая оптимизация предпочтений (DPO)
Метод настройки модели на парах предпочтительного и менее удачного ответа. В базовом варианте обходится без отдельного обучения модели награды и цикла RL.
На практике
DPO использует пары предпочитаемых и отвергнутых ответов для прямого изменения модели. Метод позволяет обучаться на предпочтениях без отдельного цикла генерации с моделью награды в классической схеме RLHF.
Что учитывать
Результат зависит от качества пар и выбранной опорной модели. Предпочтения из одной области могут плохо переноситься на другой тип запросов.