Коннектор Airbyte для корпоративного REST API
Изучаем документацию API и выполняем контрольные запросы. Определяем авторизацию, доступные сущности, лимиты, поля даты изменения, идентификаторы и связи между ответами. Описываем пользовательские настройки коннектора: адрес сервиса, токен или OAuth-параметры, период начальной загрузки и нужные потоки. Секреты передаются через поля конфигурации Airbyte.
Когда стоит обратиться
Обычно к нам обращаются в таких ситуациях:
- Корпоративная система предоставляет REST API, а готовый коннектор Airbyte отсутствует в каталоге либо существующая версия пропускает важные сущности.
- Данные забирает самописный скрипт, который хранит пароль в файле, загружает дубли и требует ручного запуска после каждого сбоя.
- Аналитикам нужны несколько связанных потоков — заказы, строки, клиенты и статусы, — а текущая выгрузка отдаёт один большой файл без истории обновлений.
Что именно мы сделаем
Изучаем документацию API и выполняем контрольные запросы. Определяем авторизацию, доступные сущности, лимиты, поля даты изменения, идентификаторы и связи между ответами.
Описываем пользовательские настройки коннектора: адрес сервиса, токен или OAuth-параметры, период начальной загрузки и нужные потоки. Секреты передаются через поля конфигурации Airbyte.
Настраиваем запросы, JSON-пути к записям, пагинацию по номеру страницы, курсору или следующей ссылке. Добавляем обработку кодов ответа, задержку при лимите и повтор временно прерванного запроса.
Создаём схему каждого потока и incremental sync — загрузку изменений после сохранённого курсора. Когда API требует нестандартной подписи или преобразования, подключаем собственный компонент.
Публикуем источник в рабочем пространстве, соединяем его с назначением, выполняем полную и повторную синхронизацию, проверяем количества, дубли и журнал. Передаём YAML-манифест и инструкцию.
Что входит в стоимость
39 900 ₽ за всю работу
Разрабатываем source connector — источник Airbyte для API, отсутствующего в готовом каталоге, либо для сценария, который стандартный коннектор покрывает частично. Описываем авторизацию, потоки, параметры, пагинацию, курсор изменений и структуру ответа.
Для обычного HTTP API используем Connector Builder и его YAML-манифест — читаемый файл конфигурации; сложную обработку дополняем компонентом на Python. Публикуем коннектор в рабочем пространстве клиента, создаём соединение с доступным назначением, добавляем журнал и контроль полноты. Связанные поля и небольшие уточнения API, найденные на тестовых данных, входят в стоимость.
Что будет готово
Передадим вам
- Опубликованный source connector Airbyte с настройками авторизации, потоков, пагинации и обновлений.
- YAML-манифест и при необходимости компонент обработки, пригодные для переноса между средами.
- Контрольное соединение с хранилищем, протокол сверки и инструкция по запуску и диагностике.
Перед сдачей проверим
- Airbyte успешно проверяет соединение, обнаруживает согласованные потоки и показывает их поля в каталоге источника.
- Первая синхронизация переносит контрольный набор данных, а следующая добавляет или обновляет записи по курсору без повторного размножения строк.
- Пагинация обрабатывает весь нужный период, временный лимит API отражается в журнале, после чего загрузка продолжает работу.
Как это выглядит на практике
Данные кабинета партнёра загружены в ClickHouse
Типичная ситуация: корпоративная система предоставляет REST API, а готовый коннектор Airbyte отсутствует в каталоге либо существующая версия пропускает важные сущности. Сначала API кабинета отдаёт заказы постранично и принимает токен в заголовке запроса, затем коннектор Airbyte проходит страницы, сохраняет номер заказа и дату последнего изменения, а в финале записи заказов и строк поступают в отдельные таблицы ClickHouse по расписанию.
- 01
API кабинета отдаёт заказы постранично и принимает токен в заголовке запроса.
- 02
Коннектор Airbyte проходит страницы, сохраняет номер заказа и дату последнего изменения.
- 03
Записи заказов и строк поступают в отдельные таблицы ClickHouse по расписанию.
- 04
Повторный запуск получает новые заказы и обновлённые статусы, а отчёт использует свежие данные.
Что понадобится для работы
От вас
- Документация REST API, примеры запросов и ответов, тестовый токен либо возможность пройти предусмотренную авторизацию.
- Доступ к рабочему пространству Airbyte с правами на создание и публикацию пользовательского источника.
- Подключённое хранилище назначения, ожидаемый перечень сущностей и контрольные количества за нужный период.
Если у вас немного другая ситуация
Небольшие уточнения, которые помогают довести согласованный результат до рабочего состояния, уже учитываем в цене. Если по ходу работы появится отдельный крупный блок или понадобится платная лицензия, сначала обсудим варианты и стоимость. Расскажите о своей ситуации — подстроим план под неё.
- 3 000 ₽после подписания договора через Диадок
- 36 900 ₽после выполнения, демонстрации и приёмки результата
Предоплата входит в общую стоимость. Оставшуюся сумму оплачиваете после демонстрации и приёмки готовой работы.
Часто спрашивают
Об этой услуге
Можно подключить API с OAuth 2.0?
Да. Настраиваем получение и обновление токена по схеме сервиса, а параметры клиента вынесем в защищённые настройки источника. Для необычной подписи добавим собственный компонент.
Что такое incremental sync?
Это загрузка изменений после сохранённой даты или курсора. Airbyte помнит достигнутую позицию, а следующий запуск забирает свежие записи и корректировки за безопасный перекрывающий период.
Куда Airbyte сможет записывать данные?
Подойдёт назначение, доступное в вашей установке Airbyte: например PostgreSQL, ClickHouse, BigQuery, Snowflake или объектное хранилище. Проверяем совместимость типов и режим записи.
Можно добавить новый поток после запуска?
Да. Манифест остаётся редактируемым, поэтому следующую связанную сущность можно добавить с собственной схемой, курсором и правилами пагинации. Небольшое дополнение во время приёмки включаем в работу.
Цена и изменения по ходу работы
Цена на странице окончательная?
Да. Перед началом мы сверяем исходные данные и фиксируем результат в договоре. Указанная на странице сумма покрывает согласованную работу целиком, даже если её техническая реализация потребует больше времени, чем ожидалось при оценке.
Что означает резерв незапланированных работ?
Это уже включённый в цену запас времени на небольшие связанные уточнения заказчика, которые появляются после старта: например, добавить поле, изменить формат уведомления или учесть ещё одно условие обработки.
Резерв рассчитывается по формуле: стоимость услуги × 30% ÷ 1 500 ₽. Для услуги за 30 000 ₽ это 6 часов. Эти часы относятся только к дополнительным, заранее незапланированным уточнениям. Они не являются сроком проекта и не ограничивают время на основную работу: согласованный результат мы выполняем полностью.
Можно уточнять детали уже во время работы?
Да. Небольшие связанные изменения обычно помещаются во включённый резерв и не требуют доплаты. Если новая идея заметно меняет результат или превращается в самостоятельную задачу, сначала обсудим подход и стоимость. Любое решение согласуем до выполнения.
Начало работы и оплата
Как оформляются договор и оплата?
Подписываем договор через Диадок. Предоплата составляет 3 000 ₽ и входит в общую стоимость услуги. Остаток оплачивается после демонстрации и приёмки готового результата.
Когда начинается срок выполнения?
Срок отсчитывается после согласования задачи, получения необходимых доступов и материалов, подписания договора и поступления предоплаты. Конкретную дату старта и плановый день готовности подтверждаем перед началом.
Как учитываются платные лицензии и внешние сервисы?
До старта проверяем, нужны ли тарифы, лицензии, сертификаты или дополнительные ресурсы внешних систем. Если они потребуются, заранее покажем варианты и стоимость. По возможности аккаунты и лицензии оформляются сразу на заказчика.
Проверка результата и гарантия
Как принимается готовая работа?
Вместе проверяем согласованные сценарии на контрольных данных или тестовой копии, а затем демонстрируем результат. Для интеграций сверяем передачу данных и обработку ошибок, для сайта — работу нужных страниц и действий пользователя, для отчёта — расчёты и обновление данных.
Какая гарантия действует после сдачи?
На выполненные изменения действует гарантия 3 месяца. Если в изменённой нами части обнаружится ошибка нашей реализации, проверим и исправим её без дополнительной оплаты. Переданные материалы, настройки и код остаются у заказчика.