нейрохаб.рфСправка
← Справка

Обучение по обратной связи людей (RLHF)

Подход, использующий человеческие оценки предпочтений для настройки поведения модели. В классической схеме сначала обучают модель награды, затем оптимизируют ответы с подкреплением.

На практике

Люди сравнивают ответы, и эти предпочтения используют для обучения модели награды или другого сигнала оптимизации. Цель — приблизить поведение модели к выбранным критериям.

Что учитывать

Предпочтение оценщика не равно фактической истинности. Красивый и уверенный ответ может получить высокую оценку, поэтому достоверность проверяют отдельно.