Проверка A/B-теста на SRM и ошибки данных
Проверка A/B-теста на SRM отвечает на главный вопрос перед выпуском победившего варианта: сравниваются ли действительно сопоставимые группы. SRM, или Sample Ratio Mismatch, означает статистически значимое расхождение между заданными долями вариантов и фактически учтёнными участниками. Мы проверяем назначение, реальный показ, идентификаторы, фильтры, объединение таблиц и метрики, находим место появления перекоса и даём воспроизводимый вывод по результату эксперимента.
Когда стоит обратиться
Обычно к нам обращаются в таких ситуациях:
- Вариант показывает заметный выигрыш, однако число участников в группах расходится с ожидаемой пропорцией 50/50 или другим планом распределения.
- Платформа экспериментов сообщает о SRM, а команда видит только итоговое предупреждение и не понимает, на каком этапе потерялись пользователи.
- Перед выпуском изменения нужно проверить, что назначение варианта, событие фактического показа и данные конверсии связались без смещения.
- Результат меняется после фильтрации ботов, нового аналитического запроса или присоединения таблицы заказов, и требуется определить пригодную выборку.
Что именно мы сделаем
Фиксируем схему эксперимента: единицу рандомизации, варианты, ожидаемые доли, даты, правила включения и ключевые метрики.
Сверяем количество назначенных и увидевших каждый вариант пользователей и воспроизводим статистическую проверку SRM.
Разбираем распределение по дням, устройствам, браузерам, каналам и другим значимым сегментам.
Проверяем идентификаторы, события показа, фильтрацию, ботов, объединение таблиц и изменения во время набора выборки.
Исправляем небольшую связанную причину, повторяем расчёт и передаём вывод: использовать данные, ограничить анализ или перезапустить тест.
Что входит в стоимость
24 900 ₽ за всю работу
Разбираем один действующий или завершённый эксперимент: гипотезу, единицу рандомизации, доли вариантов, период набора, события назначения и фактического показа, таблицы объединения и ключевые метрики. Воспроизводим расчёт SRM статистическим тестом, проверяем динамику по дням и сегментам, ищем потери и смещения данных, готовим вывод и вносим небольшие связанные исправления в события или аналитический запрос.
Что будет готово
Передадим вам
- Таблица ожидаемого и фактического распределения по этапам, дням и значимым сегментам с результатом проверки SRM.
- Воспроизводимый аналитический запрос или расчётный файл и схема пути данных от назначения варианта до итоговой метрики.
- Заключение по пригодности данных, подтверждённая причина найденного перекоса и список действий перед решением или повторным запуском.
Перед сдачей проверим
- Количество участников каждого варианта воспроизводится из исходных данных и сопоставляется с заданной пропорцией эксперимента.
- SRM рассчитан для общей выборки и выбранных сегментов, а место возникновения расхождения подтверждено сравнением последовательных этапов.
- Команда получает однозначный статус ключевых метрик и может повторить расчёт по переданному запросу или файлу.
Как это выглядит на практике
Поиск причины перекоса вариантов
В тесте нового поиска варианты должны были распределяться поровну, однако в итоговой таблице вариант B получил меньше пользователей. Мы последовательно сравниваем назначение, событие показа и присоединение заказов, разбиваем расхождение по браузерам и дням и обнаруживаем, что часть показов B теряется после обновления схемы события. После исправления запроса пересчитываем SRM и отдельно показываем, какие метрики требуют нового запуска.
- 01
Сравниваем запланированное распределение с назначенными и увидевшими вариант пользователями.
- 02
Разбиваем SRM по браузерам, устройствам и дням эксперимента.
- 03
Находим сегмент, где событие показа теряется при обработке данных.
- 04
Исправляем событие, повторяем расчёт и готовим эксперимент к новому запуску.
Что понадобится для работы
От вас
- Описание гипотезы, вариантов, единицы рандомизации, ожидаемых долей и изменений трафика во время эксперимента.
- Выгрузка назначений, фактических показов, идентификаторов, ключевых событий и метрик либо доступ к аналитическому хранилищу.
- Текущий расчёт результата, правила фильтрации ботов и сотрудников, схема объединения таблиц и контакт аналитика или разработчика эксперимента.
Если у вас немного другая ситуация
Небольшие уточнения, которые помогают довести согласованный результат до рабочего состояния, уже учитываем в цене. Если по ходу работы появится отдельный крупный блок или понадобится платная лицензия, сначала обсудим варианты и стоимость. Расскажите о своей ситуации — подстроим план под неё.
- 3 000 ₽после подписания договора через Диадок
- 21 900 ₽после выполнения, демонстрации и приёмки результата
Предоплата входит в общую стоимость. Оставшуюся сумму оплачиваете после демонстрации и приёмки готовой работы.
Часто спрашивают
Об этой услуге
Любое различие размеров групп считается SRM?
Неточное равенство групп естественно для случайного распределения. SRM определяется статистической проверкой, которая учитывает ожидаемую пропорцию и размер выборки. Поэтому одинаковое различие в десятках и в сотнях тысяч наблюдений получает разную оценку.
Можно доверять победителю при найденном SRM?
Сначала прослеживаем, где возник перекос и какие участники или события затронуты. Если причина влияет на сравнение вариантов, результат откладываем до исправления или повторного запуска. Когда пригоден независимый срез данных, явно показываем условия его использования и повторяем расчёт.
С какими платформами работает проверка?
Подходит собственная платформа экспериментов, продуктовая аналитика и специализированный сервис, если можно получить назначения вариантов, фактические показы и итоговые события. Формат выгрузки приводим к единой таблице и сохраняем воспроизводимый расчёт.
Обязательны исходные события или хватит отчёта?
Сводный отчёт позволяет подтвердить расхождение в размерах групп. Исходные события нужны для диагностики причины: они показывают, на каком дне, устройстве, браузере, фильтре или этапе соединения появились потери. Можно начать с отчёта и затем запросить только нужный фрагмент данных.
Проверяете SRM только по итогам эксперимента?
Проверку можно провести и во время набора выборки. Динамика по дням помогает увидеть момент, когда возникло расхождение: после изменения долей трафика, выпуска версии, сбоя события или обновления обработки данных. Решение о продолжении теста принимаем по устойчивой картине, а не по одному раннему колебанию.
Цена и изменения по ходу работы
Цена на странице окончательная?
Да. Перед началом мы сверяем исходные данные и фиксируем результат в договоре. Указанная на странице сумма покрывает согласованную работу целиком, даже если её техническая реализация потребует больше времени, чем ожидалось при оценке.
Что означает резерв незапланированных работ?
Это уже включённый в цену запас времени на небольшие связанные уточнения заказчика, которые появляются после старта: например, добавить поле, изменить формат уведомления или учесть ещё одно условие обработки.
Резерв рассчитывается по формуле: стоимость услуги × 30% ÷ 1 500 ₽. Для услуги за 30 000 ₽ это 6 часов. Эти часы относятся только к дополнительным, заранее незапланированным уточнениям. Они не являются сроком проекта и не ограничивают время на основную работу: согласованный результат мы выполняем полностью.
Можно уточнять детали уже во время работы?
Да. Небольшие связанные изменения обычно помещаются во включённый резерв и не требуют доплаты. Если новая идея заметно меняет результат или превращается в самостоятельную задачу, сначала обсудим подход и стоимость. Любое решение согласуем до выполнения.
Начало работы и оплата
Как оформляются договор и оплата?
Подписываем договор через Диадок. Предоплата составляет 3 000 ₽ и входит в общую стоимость услуги. Остаток оплачивается после демонстрации и приёмки готового результата.
Когда начинается срок выполнения?
Срок отсчитывается после согласования задачи, получения необходимых доступов и материалов, подписания договора и поступления предоплаты. Конкретную дату старта и плановый день готовности подтверждаем перед началом.
Как учитываются платные лицензии и внешние сервисы?
До старта проверяем, нужны ли тарифы, лицензии, сертификаты или дополнительные ресурсы внешних систем. Если они потребуются, заранее покажем варианты и стоимость. По возможности аккаунты и лицензии оформляются сразу на заказчика.
Проверка результата и гарантия
Как принимается готовая работа?
Вместе проверяем согласованные сценарии на контрольных данных или тестовой копии, а затем демонстрируем результат. Для интеграций сверяем передачу данных и обработку ошибок, для сайта — работу нужных страниц и действий пользователя, для отчёта — расчёты и обновление данных.
Какая гарантия действует после сдачи?
На выполненные изменения действует гарантия 3 месяца. Если в изменённой нами части обнаружится ошибка нашей реализации, проверим и исправим её без дополнительной оплаты. Переданные материалы, настройки и код остаются у заказчика.