Пятый фактор
Отправить заявку
Техническое SEO

Мониторинг robots.txt, Sitemap и canonical

Собираем перечень до 100 canonical-адресов и фиксируем ожидаемый HTTP-статус, допустимый редирект и правило присутствия в Sitemap. Настраиваем проверку цепочки ответа, rel=canonical, meta robots, X-Robots-Tag и доступности URL по действующему robots.txt.

Срок: 5–7 рабочих дней

Когда стоит обратиться

Обычно к нам обращаются в таких ситуациях:

  • После релиза важная страница может начать отдавать редирект, noindex или canonical на другой адрес, а команда узнаёт об этом после падения трафика.
  • Robots.txt и Sitemap создаются автоматически и иногда меняются вместе с обновлением CMS или конфигурации сервера.
  • Нужна история технических SEO-сигналов по ограниченному списку коммерчески важных страниц.

Что именно мы сделаем

01

Собираем перечень до 100 canonical-адресов и фиксируем ожидаемый HTTP-статус, допустимый редирект и правило присутствия в Sitemap.

02

Настраиваем проверку цепочки ответа, rel=canonical, meta robots, X-Robots-Tag и доступности URL по действующему robots.txt.

03

Контролируем наличие страниц в указанной XML-карте и отдельно отслеживаем изменение самого robots.txt и файлов Sitemap.

04

Сохраняем снимки результатов на 30 дней и формируем технический экран с причиной, временем первого обнаружения и текущим состоянием.

05

Подключаем один канал уведомлений, проверяем ложные срабатывания и имитируем безопасное изменение на тестовом URL.

Что входит в стоимость

24 900 ₽ за всю работу

Собираем перечень до 100 canonical-адресов и фиксируем ожидаемый HTTP-статус, допустимый редирект и правило присутствия в Sitemap. Настраиваем проверку цепочки ответа, rel=canonical, meta robots, X-Robots-Tag и доступности URL по действующему robots.txt.

Контролируем наличие страниц в указанной XML-карте и отдельно отслеживаем изменение самого robots.txt и файлов Sitemap. Перед сдачей проверяем, что каждый URL проверяется по всем согласованным сигналам, а время последней успешной проверки видно на экране.

В комплект результата входят: реестр до 100 важных URL с ожидаемыми SEO-сигналами; автоматическая проверка каждые шесть часов и история результатов за 30 дней; экран состояния, уведомления и инструкция добавления либо удаления адреса из контроля. Небольшие связанные уточнения, которые появляются во время работы, уже учитываем в стоимости.

Что будет готово

Материалы

Передадим вам

  • Реестр до 100 важных URL с ожидаемыми SEO-сигналами.
  • Автоматическая проверка каждые шесть часов и история результатов за 30 дней.
  • Экран состояния, уведомления и инструкция добавления либо удаления адреса из контроля.
Проверка

Перед сдачей проверим

  • Каждый URL проверяется по всем согласованным сигналам, а время последней успешной проверки видно на экране.
  • Тестовое изменение canonical или noindex создаёт запись с прежним и новым значением.
  • Уведомление содержит конкретный адрес, тип нарушения и ссылку на сохранённый результат проверки.

Как это выглядит на практике

Контроль случайного noindex после релиза

Типичная ситуация: после релиза важная страница может начать отдавать редирект, noindex или canonical на другой адрес, а команда узнаёт об этом после падения трафика. Сначала добавляем тестовую страницу в перечень важных адресов, затем фиксируем её исходный статус, canonical и разрешение на индексирование, а в финале в тестовом контуре меняем meta robots на noindex.

  1. 01

    Добавляем тестовую страницу в перечень важных адресов.

  2. 02

    Фиксируем её исходный статус, canonical и разрешение на индексирование.

  3. 03

    В тестовом контуре меняем meta robots на noindex.

  4. 04

    Дожидаемся очередной проверки и открываем запись об изменении.

  5. 05

    Возвращаем исходное значение и убеждаемся, что состояние восстановлено.

Что понадобится для работы

От вас

  • Список доменов и актуальные robots.txt, sitemap и правила canonical или публикации новых адресов.
  • Доступ к CMS, серверным настройкам и поисковым кабинетам либо контакт ответственного администратора.
  • Реальный сценарий с известным итогом, который покажет, что уведомление содержит конкретный адрес, тип нарушения и ссылку на сохранённый результат проверки.

Если у вас немного другая ситуация

Небольшие уточнения, которые помогают довести согласованный результат до рабочего состояния, уже учитываем в цене. Если по ходу работы появится отдельный крупный блок или понадобится платная лицензия, сначала обсудим варианты и стоимость. Расскажите о своей ситуации — подстроим план под неё.

Стоимость работ 24 900 ₽ полная стоимость известна заранее
  1. 3 000 ₽после подписания договора через Диадок
  2. 21 900 ₽после выполнения, демонстрации и приёмки результата

Предоплата входит в общую стоимость. Оставшуюся сумму оплачиваете после демонстрации и приёмки готовой работы.

Часто спрашивают

Об этой услуге

Мониторинг проверяет, есть ли страница в поиске?

Здесь контролируем технические сигналы самого сайта: robots.txt, Sitemap и canonical. Если нужно видеть фактический статус страниц в Яндекс Вебмастере и Google Search Console, можем подключить эти данные в отдельный дашборд.

Можно проверять больше ста адресов?

Настраиваем регулярную проверку 100 самых важных URL. Если адресов больше, покажите список — выберем приоритетные шаблоны и подберём безопасную частоту запросов для остального каталога.

Что происходит при кратком сбое сервера?

Ошибка сохраняется с временем и типом ответа. Правило повторной проверки снижает число уведомлений из-за единичного сетевого сбоя.

Вы автоматически исправляете robots.txt или canonical?

Сначала мониторинг пришлёт уведомление и покажет конкретное изменение. Такой порядок защищает важные страницы от случайного закрытия автоматической правкой. Небольшую очевидную ошибку сможем исправить после подтверждения, а более сложную ситуацию заранее обсудим.

Цена и изменения по ходу работы

Цена на странице окончательная?

Да. Перед началом мы сверяем исходные данные и фиксируем результат в договоре. Указанная на странице сумма покрывает согласованную работу целиком, даже если её техническая реализация потребует больше времени, чем ожидалось при оценке.

Что означает резерв незапланированных работ?

Это уже включённый в цену запас времени на небольшие связанные уточнения заказчика, которые появляются после старта: например, добавить поле, изменить формат уведомления или учесть ещё одно условие обработки.

Резерв рассчитывается по формуле: стоимость услуги × 30% ÷ 1 500 ₽. Для услуги за 30 000 ₽ это 6 часов. Эти часы относятся только к дополнительным, заранее незапланированным уточнениям. Они не являются сроком проекта и не ограничивают время на основную работу: согласованный результат мы выполняем полностью.

Можно уточнять детали уже во время работы?

Да. Небольшие связанные изменения обычно помещаются во включённый резерв и не требуют доплаты. Если новая идея заметно меняет результат или превращается в самостоятельную задачу, сначала обсудим подход и стоимость. Любое решение согласуем до выполнения.

Начало работы и оплата

Как оформляются договор и оплата?

Подписываем договор через Диадок. Предоплата составляет 3 000 ₽ и входит в общую стоимость услуги. Остаток оплачивается после демонстрации и приёмки готового результата.

Когда начинается срок выполнения?

Срок отсчитывается после согласования задачи, получения необходимых доступов и материалов, подписания договора и поступления предоплаты. Конкретную дату старта и плановый день готовности подтверждаем перед началом.

Как учитываются платные лицензии и внешние сервисы?

До старта проверяем, нужны ли тарифы, лицензии, сертификаты или дополнительные ресурсы внешних систем. Если они потребуются, заранее покажем варианты и стоимость. По возможности аккаунты и лицензии оформляются сразу на заказчика.

Проверка результата и гарантия

Как принимается готовая работа?

Вместе проверяем согласованные сценарии на контрольных данных или тестовой копии, а затем демонстрируем результат. Для интеграций сверяем передачу данных и обработку ошибок, для сайта — работу нужных страниц и действий пользователя, для отчёта — расчёты и обновление данных.

Какая гарантия действует после сдачи?

На выполненные изменения действует гарантия 3 месяца. Если в изменённой нами части обнаружится ошибка нашей реализации, проверим и исправим её без дополнительной оплаты. Переданные материалы, настройки и код остаются у заказчика.

Следующий шаг

Опишите задачу

Расскажите, что происходит сейчас и какой результат хотите получить. Можно указать сайт, CMS, 1С, CRM, ERP или другую систему. Если подходящую услугу выбирать рано, просто опишите ситуацию — мы разберёмся и предложим следующий шаг.