Обновление Apache Airflow 2 до Airflow 3
Обновление Airflow 2 до Airflow 3 затрагивает базу метаданных, исполнение DAG, web/API-компоненты, providers и код, который импортирует внутренние модули Airflow. Мы сначала приводим исходную систему к поддерживаемой точке, затем автоматически и вручную находим несовместимости, репетируем миграцию на копии данных и только после этого переключаем рабочий контур. Пользовательские расписания и контроль результатов остаются главным критерием приёмки.
Когда стоит обратиться
Обычно к нам обращаются в таких ситуациях:
- Airflow 2 управляет важными загрузками, а часть DAG использует устаревшие импорты, старые providers и внутренние классы платформы.
- Команда хочет получить возможности Airflow 3 и поддерживаемую ветку, сохранив понятный контроль расписаний и истории запусков.
- Предыдущее обновление проходило вручную на production, поэтому сейчас требуется репетиция, резервная копия и измеримые критерии переключения.
Что именно мы сделаем
Фиксируем версию Airflow, executor, базу, providers, плагины, способы развёртывания и критичные DAG.
Обновляем исходную ветку 2.x, запускаем проверки конфигурации и кода, создаём проверяемую резервную копию метаданных.
Исправляем импорты, операторы, hooks, API-клиенты и собственные плагины по отчёту совместимости Airflow 3.
Репетируем миграцию базы и компонентов на тестовом контуре, выполняем контрольные и аварийные сценарии DAG.
Переключаем рабочую установку в выбранное окно, наблюдаем прогоны и передаём журнал и инструкцию эксплуатации.
Что входит в стоимость
59 900 ₽ за всю работу
Обновление строим от поддерживаемой последней версии Airflow 2.x: сначала поднимаем исходную установку минимум до 2.7, запускаем проверки готовности, сохраняем базу метаданных и конфигурацию. Разбираем результаты Ruff с правилами AIR301 и AIR302, импорты DAG, providers, плагины, REST-клиентов и собственный код. После перехода учитываем API server, Stable REST API v2, пакет airflow.sdk, сериализацию DAG и новые требования к компонентам Airflow 3.
Что будет готово
Передадим вам
- Обновлённая конфигурация Airflow 3, совместимый набор зависимостей, providers, DAG и выбранных плагинов.
- Резервная копия и сценарий восстановления, протокол миграции метаданных и результаты контрольных прогонов.
- Реестр изменений кода и инструкция для разработки, развёртывания, диагностики scheduler и следующего обновления.
Перед сдачей проверим
- Airflow 3 запускает выбранный набор DAG вручную и по расписанию, а задачи завершаются с ожидаемыми данными и статусами.
- Подключения, переменные, роли и необходимая история доступны после миграции, интерфейс и API проходят контрольные сценарии.
- Команда воспроизводит развёртывание и знает порядок восстановления исходного состояния по переданной инструкции.
Как это выглядит на практике
Ежедневная загрузка данных проходит после обновления
- 01
DAG забирает файлы из object storage, загружает витрину PostgreSQL и запускает проверку качества перед утренним отчётом.
- 02
Анализ обнаруживает старый импорт оператора, несовместимый provider и клиент REST API, обращающийся к прежней версии endpoint.
- 03
Код переводится на публичные интерфейсы, зависимости фиксируются, а копия базы проходит миграцию на тестовом стенде.
- 04
После переключения расписание создаёт запуск, retry работает на искусственной ошибке, витрина совпадает с контрольной выборкой, отчёт получает свежие данные.
Что понадобится для работы
От вас
- Репозиторий DAG и плагинов, список образов и зависимостей, конфигурация Airflow и описание способа развёртывания.
- Безопасный доступ к тестовому контуру и копии метаданных, перечень критичных расписаний и владельцев данных.
- Доступы к связанным системам в тестовом режиме, окно переключения и выбранный срок хранения резервной копии.
Если у вас немного другая ситуация
Небольшие уточнения, которые помогают довести согласованный результат до рабочего состояния, уже учитываем в цене. Если по ходу работы появится отдельный крупный блок или понадобится платная лицензия, сначала обсудим варианты и стоимость. Расскажите о своей ситуации — подстроим план под неё.
- 3 000 ₽после подписания договора через Диадок
- 56 900 ₽после выполнения, демонстрации и приёмки результата
Предоплата входит в общую стоимость. Оставшуюся сумму оплачиваете после демонстрации и приёмки готовой работы.
Часто спрашивают
Об этой услуге
С какой версии Airflow 2 начинается переход?
Официальный маршрут Airflow 3 требует исходную версию минимум 2.7. На практике сначала обновляем установку до последней подходящей 2.x и устраняем предупреждения.
Сохранятся ли история запусков и подключения?
Миграция базы переносит нужные метаданные. Перед репетицией фиксируем состав истории, connections, variables и роли, затем сверяем их по контрольному списку.
Зачем запускать Ruff AIR301 и AIR302?
Правила находят удалённые и перемещённые интерфейсы Airflow в DAG и плагинах. Отчёт превращается в конкретный список файлов для исправления.
Что изменится для REST-интеграций Airflow?
Проверяем используемые endpoint, авторизацию и модели данных, затем переводим клиентов на Stable REST API v2 там, где этого требует текущая версия.
Как проверяются DAG перед переключением?
Для критичных цепочек выполняем парсинг, ручной запуск, расписание, retry, backfill либо выбранный аналог, sensors, XCom и сверку выходных данных.
Можно обновить Airflow в Kubernetes?
Да. Фиксируем chart, образы, secrets, volumes, job миграции и порядок запуска компонентов, затем репетируем тот же набор действий в отдельном namespace.
Что будет с собственными плагинами?
Проверяем импорты, hooks, operators, listeners и web-расширения каждого выбранного плагина. Исправления подтверждаются загрузкой и рабочим сценарием в Airflow 3.
Как устроен откат после переключения?
Сценарий использует сохранённую базу метаданных, прежние образы и конфигурацию. Решение об откате принимается по заранее заданным контрольным DAG и состоянию компонентов.
Цена и изменения по ходу работы
Цена на странице окончательная?
Да. Перед началом мы сверяем исходные данные и фиксируем результат в договоре. Указанная на странице сумма покрывает согласованную работу целиком, даже если её техническая реализация потребует больше времени, чем ожидалось при оценке.
Что означает резерв незапланированных работ?
Это уже включённый в цену запас времени на небольшие связанные уточнения заказчика, которые появляются после старта: например, добавить поле, изменить формат уведомления или учесть ещё одно условие обработки.
Резерв рассчитывается по формуле: стоимость услуги × 30% ÷ 1 500 ₽. Для услуги за 30 000 ₽ это 6 часов. Эти часы относятся только к дополнительным, заранее незапланированным уточнениям. Они не являются сроком проекта и не ограничивают время на основную работу: согласованный результат мы выполняем полностью.
Можно уточнять детали уже во время работы?
Да. Небольшие связанные изменения обычно помещаются во включённый резерв и не требуют доплаты. Если новая идея заметно меняет результат или превращается в самостоятельную задачу, сначала обсудим подход и стоимость. Любое решение согласуем до выполнения.
Начало работы и оплата
Как оформляются договор и оплата?
Подписываем договор через Диадок. Предоплата составляет 3 000 ₽ и входит в общую стоимость услуги. Остаток оплачивается после демонстрации и приёмки готового результата.
Когда начинается срок выполнения?
Срок отсчитывается после согласования задачи, получения необходимых доступов и материалов, подписания договора и поступления предоплаты. Конкретную дату старта и плановый день готовности подтверждаем перед началом.
Как учитываются платные лицензии и внешние сервисы?
До старта проверяем, нужны ли тарифы, лицензии, сертификаты или дополнительные ресурсы внешних систем. Если они потребуются, заранее покажем варианты и стоимость. По возможности аккаунты и лицензии оформляются сразу на заказчика.
Проверка результата и гарантия
Как принимается готовая работа?
Вместе проверяем согласованные сценарии на контрольных данных или тестовой копии, а затем демонстрируем результат. Для интеграций сверяем передачу данных и обработку ошибок, для сайта — работу нужных страниц и действий пользователя, для отчёта — расчёты и обновление данных.
Какая гарантия действует после сдачи?
На выполненные изменения действует гарантия 3 месяца. Если в изменённой нами части обнаружится ошибка нашей реализации, проверим и исправим её без дополнительной оплаты. Переданные материалы, настройки и код остаются у заказчика.
Связанные шаги
- 01Перенос ETL и cron-скриптов в Apache Airflow
Перенести ETL и cron-скрипты в Airflow
- 02Обновление Apache Airflow 2 до Airflow 3
Перевести оркестратор на Airflow 3
- 03Контроль качества данных ETL и импортов
Настроить контроль данных после запуска