Обучение по обратной связи людей (RLHF)
Подход, использующий человеческие оценки предпочтений для настройки поведения модели. В классической схеме сначала обучают модель награды, затем оптимизируют ответы с подкреплением.
На практике
Люди сравнивают ответы, и эти предпочтения используют для обучения модели награды или другого сигнала оптимизации. Цель — приблизить поведение модели к выбранным критериям.
Что учитывать
Предпочтение оценщика не равно фактической истинности. Красивый и уверенный ответ может получить высокую оценку, поэтому достоверность проверяют отдельно.