В мозгу имеется крошечная древняя система, предназначенная для того, чтобы обновлять оценку окружающего мира. Эта система состоит из маленьких групп клеток в среднем мозге, которые общаются на языке нейротрансмиттера под названием «дофамин».
В случае несоответствия между ожиданиями и реальностью дофаминовая система в среднем мозге передает сигнал, который пересматривает оценку. Сигнал сообщает остальной системе, какой оказалась реальность: лучше ожиданий (усиленный выброс дофамина) или хуже ожиданий (уменьшение выработки дофамина). Сигнал об ошибке предсказания позволяет мозгу скорректировать свои ожидания, чтобы в следующий раз они оказались ближе к реальности. Дофамин действует как корректор ошибок: химический оценщик, который поддерживает оценки максимально актуальными. Таким образом мы получаем возможность расставлять приоритеты на основе оптимизированных догадок о будущем.
Мозг запрограммирован на поиск неожиданных результатов, и эта чувствительность лежит в основе способности животных адаптироваться и обучаться. Поэтому неудивительно, что архитектура мозга, участвующая в обучении на собственном опыте, одинакова у всех видов от пчелы до человека. Это означает, что мозг уже давно открыл основные принципы обучения путем вознаграждения.