Команда анализа и валидации экспериментов Ozon Tech описывает метод автоматической оптимизации непрерывных параметров системы на основе данных онлайн-экспериментов. Цель подхода — найти оптимальные настройки, например для алгоритма рекомендаций, чтобы увеличить число заказов, не снижая рекламную выручку. Задача формулируется как поиск параметров, максимизирующих математическое ожидание целевой метрики при наличии шума и зависимости от времени, при этом часть трафика направляется в контрольную группу для оценки аплифта относительно базового значения. Важным аспектом является учет дисперсии метрики, так как шум может существенно влиять на выбор оптимальных параметров.
Для оценки дисперсии и приведения метрик в единую шкалу используется пуассонсовский бутстрап. Метод генерирует случайные числа из распределения Пуассона для каждого пользователя в контрольной группе, создавая множество бутстрапных выборок. На основе этих выборок рассчитывается стандартное отклонение, показывающее волатильность метрики. Оптимизационный алгоритм состоит из двух частей: модели-оценщика и стратегии выбора параметров. В качестве модели-оценщика часто применяется регрессия гауссовского процесса (ГП), которая позволяет аппроксимировать любую непрерывную функцию зависимости метрики от параметров и возвращает стандартное отклонение прогноза, что дает возможность учитывать уверенность модели.
Стратегии выбора параметров, такие как Upper Confidence Bound (UCB) и Thompson Sampling, используют предсказания модели-оценщика для баланса между эксплуатацией известных эффективных вариантов и исследованием новых. Перед применением стратегии можно фильтровать варианты с отрицательным аплифтом. В рамках реализации оптимизатор интегрируется в существующую A/B-платформу, используя сервис расчёта метрик и механизм сплитования пользователей. Поскольку стандартное деление трафика ограничивает число вариантов в одном эксперименте (не более 100), для исследования большего пространства параметров создаются параллельные эксперименты, где каждому пользователю присваиваются значения разных параметров через систему бакетов, что позволяет ежедневно обновлять настройки алгоритма в соответствии с рекомендациями оптимизатора.
