Мониторинг свежести данных DataLens
Настраиваем контроль свежести данных, которыми пользуется дашборд Yandex DataLens. Монитор следит за временем последней успешной загрузки, объёмом строк, дублями, схемой и ошибками источника, связывает сбой с конкретным набором и отправляет уведомление ответственному. На экране состояния видны актуальность, последний результат проверки и история отклонений, поэтому устаревший отчёт обнаруживается до управленческого решения.
Когда стоит обратиться
Обычно к нам обращаются в таких ситуациях:
- Дашборд открывается без технической ошибки, хотя ночная ETL-загрузка остановилась и руководитель смотрит данные за прошлый день.
- Загрузка завершилась формально успешно, но принесла заметно меньше строк, дубли или пустой ключевой показатель, и это обнаружили пользователи.
- Несколько источников обновляются по разному расписанию, а аналитик проверяет их вручную перед ежедневной отправкой отчёта.
- Команде нужен понятный сигнал с названием затронутого дашборда, временем последней корректной версии и первым шагом диагностики.
Что именно мы сделаем
Разбираем три загрузки, источники, расписания и связь с дашбордом DataLens.
Настраиваем пороги свежести и проверки объёма, ключей, обязательных полей и схемы.
Добавляем экран состояния, историю и уведомления с понятной причиной и владельцем.
Имитируем безопасную просрочку, проверяем восстановление и передаём инструкцию сопровождения.
Что входит в стоимость
24 900 ₽ за всю работу
Подключаем до трёх ETL-загрузок и один дашборд DataLens, настраиваем два порога свежести и подходящие проверки качества. Добавляем уведомления, экран состояния и историю, затем проводим безопасную тестовую просрочку маркера одной загрузки и проверяем восстановление.
Что будет готово
Передадим вам
- Мониторинг до трёх загрузок с проверкой свежести, объёма, дублей, обязательных полей, схемы и доступности источника.
- Два уровня порога и уведомления с названием загрузки, связанным дашбордом, временем актуальности и причиной отклонения.
- Экран состояния и история проверок, по которым видно начало сбоя, последнюю корректную версию и момент восстановления.
- Протокол тестовой просрочки и инструкция по порогам, расписаниям, получателям и первичной диагностике.
Перед сдачей проверим
- Каждая выбранная загрузка показывает время последней успешной версии, фактический возраст данных и связь с нужным дашбордом DataLens.
- Тестовая задержка проходит предупреждающий и критический пороги, отправляет понятное уведомление и возвращается в нормальный статус после обновления маркера.
- Контрольная аномалия объёма, дублей либо обязательного поля фиксируется отдельной причиной и сохраняется в истории проверок.
- Повторные запуски во время одного сбоя группируются по выбранному правилу, а уведомление о восстановлении содержит новое время актуальности.
Как это выглядит на практике
Застывшая витрина заказов обнаруживается до открытия отчёта
Каждую ночь ETL переносит заказы в витрину, которую читает DataLens. В один из дней задача завершается до загрузки последней порции, а сам дашборд продолжает открываться. Монитор видит старую максимальную дату и объём ниже обычного диапазона, связывает проблему с дашбордом продаж и отправляет владельцу один сигнал.
На экране указаны последняя корректная версия и нарушенные проверки. После повторного запуска витрины свежесть и объём возвращаются в норму, статус становится зелёным, а история сохраняет длительность сбоя.
- 01
Монитор проверяет время последней записи и объём витрины заказов.
- 02
Просрочка и снижение объёма связываются с дашбордом продаж.
- 03
Владелец получает одно уведомление с причиной и ссылкой на состояние.
- 04
После повторной загрузки проверки подтверждают свежесть и полноту.
- 05
История сохраняет начало, длительность и момент восстановления сбоя.
Что понадобится для работы
От вас
- Доступ к целевым таблицам, журналам ETL или другому надёжному маркеру успешной загрузки.
- Расписание трёх загрузок, часовой пояс, допустимые задержки и связь с дашбордом DataLens.
- Стабильные ключи и контрольные показатели, получатели уведомлений и доступная инфраструктура запуска.
Если у вас немного другая ситуация
Небольшие уточнения, которые помогают довести согласованный результат до рабочего состояния, уже учитываем в цене. Если по ходу работы появится отдельный крупный блок или понадобится платная лицензия, сначала обсудим варианты и стоимость. Расскажите о своей ситуации — подстроим план под неё.
- 3 000 ₽после подписания договора через Диадок
- 21 900 ₽после выполнения, демонстрации и приёмки результата
Предоплата входит в общую стоимость. Оставшуюся сумму оплачиваете после демонстрации и приёмки готовой работы.
Часто спрашивают
Об этой услуге
Почему контролируется источник данных, если проблема видна в DataLens?
DataLens строит визуализацию на данных подключения, поэтому сам факт открытия дашборда оставляет свежесть загрузки неизвестной. Проверяем маркер в целевой таблице, служебной записи или журнале ETL и связываем его с конкретным датасетом. Так сигнал появляется на уровне причины и указывает владельцу нужную загрузку.
Как выбрать порог свежести для разных расписаний?
Берём ожидаемое время завершения, обычную длительность и момент, когда отчёт нужен пользователям. Первый порог оставляет время на проверку и перезапуск, второй отмечает влияние на рабочий сценарий. Для ежедневной, почасовой и недельной загрузки правила различаются и хранятся рядом с именем владельца.
Можно ли обнаружить частичную загрузку при свежей дате?
Да. Время дополняем проверками качества: числом строк, уникальностью ключа, обязательными значениями, контрольной суммой или сравнением с обычным диапазоном. Набор зависит от таблицы. Для заказов полезны количество и сумма, для справочника — ключи и полнота обязательных полей.
Куда приходят уведомления о сбое?
Подключаем электронную почту или выбранный рабочий канал, который уже используется компанией и доступен из её инфраструктуры. Сообщение содержит загрузку, дашборд, фактическую свежесть, нарушенную проверку и ссылку на экран состояния. Получателей и частоту повторов фиксируем вместе с владельцами данных.
Цена и изменения по ходу работы
Цена на странице окончательная?
Да. Перед началом мы сверяем исходные данные и фиксируем результат в договоре. Указанная на странице сумма покрывает согласованную работу целиком, даже если её техническая реализация потребует больше времени, чем ожидалось при оценке.
Что означает резерв незапланированных работ?
Это уже включённый в цену запас времени на небольшие связанные уточнения заказчика, которые появляются после старта: например, добавить поле, изменить формат уведомления или учесть ещё одно условие обработки.
Резерв рассчитывается по формуле: стоимость услуги × 30% ÷ 1 500 ₽. Для услуги за 30 000 ₽ это 6 часов. Эти часы относятся только к дополнительным, заранее незапланированным уточнениям. Они не являются сроком проекта и не ограничивают время на основную работу: согласованный результат мы выполняем полностью.
Можно уточнять детали уже во время работы?
Да. Небольшие связанные изменения обычно помещаются во включённый резерв и не требуют доплаты. Если новая идея заметно меняет результат или превращается в самостоятельную задачу, сначала обсудим подход и стоимость. Любое решение согласуем до выполнения.
Начало работы и оплата
Как оформляются договор и оплата?
Подписываем договор через Диадок. Предоплата составляет 3 000 ₽ и входит в общую стоимость услуги. Остаток оплачивается после демонстрации и приёмки готового результата.
Когда начинается срок выполнения?
Срок отсчитывается после согласования задачи, получения необходимых доступов и материалов, подписания договора и поступления предоплаты. Конкретную дату старта и плановый день готовности подтверждаем перед началом.
Как учитываются платные лицензии и внешние сервисы?
До старта проверяем, нужны ли тарифы, лицензии, сертификаты или дополнительные ресурсы внешних систем. Если они потребуются, заранее покажем варианты и стоимость. По возможности аккаунты и лицензии оформляются сразу на заказчика.
Проверка результата и гарантия
Как принимается готовая работа?
Вместе проверяем согласованные сценарии на контрольных данных или тестовой копии, а затем демонстрируем результат. Для интеграций сверяем передачу данных и обработку ошибок, для сайта — работу нужных страниц и действий пользователя, для отчёта — расчёты и обновление данных.
Какая гарантия действует после сдачи?
На выполненные изменения действует гарантия 3 месяца. Если в изменённой нами части обнаружится ошибка нашей реализации, проверим и исправим её без дополнительной оплаты. Переданные материалы, настройки и код остаются у заказчика.