Аудит качества RAG-поиска и ответов
Разбираем пользовательские сценарии, структуру документов, права доступа, индекс, параметры retrieval и текущий формат ответа. Собираем набор обычных, сложных, неоднозначных и безответных вопросов с ожидаемыми источниками и ключевыми фактами.
Когда стоит обратиться
Обычно к нам обращаются в таких ситуациях:
- Помощник отвечает уверенно, но иногда использует соседний документ, пропускает важное условие или приводит ссылку на общий раздел.
- После замены модели или эмбеддингов команда оценивает качество по нескольким ручным вопросам и затрудняется сравнить версии.
- Нужно понять, где возникает ошибка: в документах, разбиении, поиске, reranker, промпте или финальной генерации.
Что именно мы сделаем
Разбираем пользовательские сценарии, структуру документов, права доступа, индекс, параметры retrieval и текущий формат ответа.
Собираем набор обычных, сложных, неоднозначных и безответных вопросов с ожидаемыми источниками и ключевыми фактами.
Запускаем оценку поиска отдельно от генерации: recall релевантных фрагментов, позиции, дубли, покрытие и влияние фильтров.
Проверяем ответы на опору в контексте, полноту, корректность цитат, признание отсутствия данных и устойчивость повторных запусков.
Группируем ошибки, проверяем несколько практичных настроек, сравниваем метрики и передаём регрессионный набор для следующих релизов.
Что входит в стоимость
34 900 ₽ за всю работу
Разбираем пользовательские сценарии, структуру документов, права доступа, индекс, параметры retrieval и текущий формат ответа. Собираем набор обычных, сложных, неоднозначных и безответных вопросов с ожидаемыми источниками и ключевыми фактами. Запускаем оценку поиска отдельно от генерации: recall релевантных фрагментов, позиции, дубли, покрытие и влияние фильтров.
Перед сдачей проверяем, что каждый вопрос набора имеет ожидаемый источник или явную отметку об отсутствии ответа в базе. В комплект результата входят: проверочный набор вопросов с ожидаемыми источниками и ключевыми фактами; отчёт по качеству retrieval, ответов, цитат и сценариев без данных; приоритетный список улучшений и повторяемый регрессионный запуск. Небольшие связанные уточнения, которые появляются во время работы, уже учитываем в стоимости.
Что будет готово
Передадим вам
- Проверочный набор вопросов с ожидаемыми источниками и ключевыми фактами.
- Отчёт по качеству retrieval, ответов, цитат и сценариев без данных.
- Приоритетный список улучшений и повторяемый регрессионный запуск.
Перед сдачей проверим
- Каждый вопрос набора имеет ожидаемый источник или явную отметку об отсутствии ответа в базе.
- Отчёт разделяет ошибки поиска и генерации и содержит воспроизводимые примеры с фактическим контекстом.
- Повторный запуск на той же версии формирует сравнимые метрики и показывает результат проверенных настроек.
Как это выглядит на практике
Проверка вопроса с важным исключением
Типичная ситуация: помощник отвечает уверенно, но иногда использует соседний документ, пропускает важное условие или приводит ссылку на общий раздел. Сначала выбираем вопрос, ответ на который зависит от исключения в отдельном пункте регламента, затем проверяем, попал ли нужный фрагмент в верхние результаты retrieval, а в финале сравниваем ответ с ключевыми фактами и открываем указанную цитату.
- 01
Выбираем вопрос, ответ на который зависит от исключения в отдельном пункте регламента.
- 02
Проверяем, попал ли нужный фрагмент в верхние результаты retrieval.
- 03
Сравниваем ответ с ключевыми фактами и открываем указанную цитату.
- 04
После настройки разбиения повторяем набор и видим изменение поиска и итогового ответа.
Что понадобится для работы
От вас
- Доступ к тестовой RAG-системе, индексу или журналу запросов и используемым настройкам.
- Документы, типичные пользовательские вопросы и сотрудники, способные подтвердить ожидаемые ответы.
- Версия модели, промпты, параметры retrieval и несколько известных удачных и проблемных примеров.
Если у вас немного другая ситуация
Небольшие уточнения, которые помогают довести согласованный результат до рабочего состояния, уже учитываем в цене. Если по ходу работы появится отдельный крупный блок или понадобится платная лицензия, сначала обсудим варианты и стоимость. Расскажите о своей ситуации — подстроим план под неё.
- 3 000 ₽после подписания договора через Диадок
- 31 900 ₽после выполнения, демонстрации и приёмки результата
Предоплата входит в общую стоимость. Оставшуюся сумму оплачиваете после демонстрации и приёмки готовой работы.
Часто спрашивают
Об этой услуге
Сколько вопросов нужно для полезного аудита?
Важнее разнообразие сценариев, чем большое число. Собираем набор, который покрывает частые темы, сложные исключения, неоднозначность и отсутствие ответа.
Можно оценивать систему без готовых эталонных ответов?
Да. Начнём с ожидаемых документов и ключевых фактов, а эксперты подтвердят спорные случаи. Такой набор уже позволяет отделить поиск от генерации.
Аудит покажет галлюцинации?
Проверка groundedness показывает утверждения без опоры на переданный контекст, а сценарии без данных оценивают способность честно остановиться и запросить уточнение.
Можно сравнить две модели или два индекса?
Да. Один набор прогоняется через обе версии, после чего сравниваются поиск, полнота ответа, цитаты, задержка и стабильность.
Цена и изменения по ходу работы
Цена на странице окончательная?
Да. Перед началом мы сверяем исходные данные и фиксируем результат в договоре. Указанная на странице сумма покрывает согласованную работу целиком, даже если её техническая реализация потребует больше времени, чем ожидалось при оценке.
Что означает резерв незапланированных работ?
Это уже включённый в цену запас времени на небольшие связанные уточнения заказчика, которые появляются после старта: например, добавить поле, изменить формат уведомления или учесть ещё одно условие обработки.
Резерв рассчитывается по формуле: стоимость услуги × 30% ÷ 1 500 ₽. Для услуги за 30 000 ₽ это 6 часов. Эти часы относятся только к дополнительным, заранее незапланированным уточнениям. Они не являются сроком проекта и не ограничивают время на основную работу: согласованный результат мы выполняем полностью.
Можно уточнять детали уже во время работы?
Да. Небольшие связанные изменения обычно помещаются во включённый резерв и не требуют доплаты. Если новая идея заметно меняет результат или превращается в самостоятельную задачу, сначала обсудим подход и стоимость. Любое решение согласуем до выполнения.
Начало работы и оплата
Как оформляются договор и оплата?
Подписываем договор через Диадок. Предоплата составляет 3 000 ₽ и входит в общую стоимость услуги. Остаток оплачивается после демонстрации и приёмки готового результата.
Когда начинается срок выполнения?
Срок отсчитывается после согласования задачи, получения необходимых доступов и материалов, подписания договора и поступления предоплаты. Конкретную дату старта и плановый день готовности подтверждаем перед началом.
Как учитываются платные лицензии и внешние сервисы?
До старта проверяем, нужны ли тарифы, лицензии, сертификаты или дополнительные ресурсы внешних систем. Если они потребуются, заранее покажем варианты и стоимость. По возможности аккаунты и лицензии оформляются сразу на заказчика.
Проверка результата и гарантия
Как принимается готовая работа?
Вместе проверяем согласованные сценарии на контрольных данных или тестовой копии, а затем демонстрируем результат. Для интеграций сверяем передачу данных и обработку ошибок, для сайта — работу нужных страниц и действий пользователя, для отчёта — расчёты и обновление данных.
Какая гарантия действует после сдачи?
На выполненные изменения действует гарантия 3 месяца. Если в изменённой нами части обнаружится ошибка нашей реализации, проверим и исправим её без дополнительной оплаты. Переданные материалы, настройки и код остаются у заказчика.