Перейти к содержанию
SoftSimpleНаши проекты
  1. Проекты и решения
  2. 1С и разработка

Типовое решениеРазработка и ИТ-операцииИТ-отделы и разработка

Контроль качества и наблюдаемость ИИ-приложений в работе

Ваши ИИ-приложения под наблюдением: журналы запросов, оценка ответов и оповещения об ухудшении качества и выдуманных ответах.

Типовое решение для внедрения

Это не выполненный проект и не кейс клиента: подход, стек и сроки — ориентир. План и критерии результата согласуем после разбора вашей задачи.

Задача, решение и результат

01Задача

Когда в компании работает несколько ИИ-приложений, без специальных инструментов трудно отслеживать и оценивать их работу в промышленной эксплуатации, находить причины сбоев и убеждаться, что ответы точны, безопасны и полезны.

02Решение

Приложения отправляют запросы, ответы и технические показатели на платформу наблюдаемости (журналирования и контроля работы ИИ) с открытым кодом — на ваших серверах или в Yandex Cloud. Языковая модель (LLM) в роли судьи оценивает ответы по эталонным наборам вопросов и помогает находить галлюцинации (выдуманные ответы), а отдельный инструмент следит за дрейфом (постепенным ухудшением качества модели). Когда находится проблема, команда разработки получает оповещение.

03Что это даёт

Команда быстрее замечает проблемы в работе ИИ-приложений и может найти и устранить их причину.

Как это работает

Путь данных и решений — по шагам

  1. ИИ-приложения пишут журналы запросов, ответов и технических показателей в едином формате

  2. Данные поступают в Langfuse или Arize Phoenix и сохраняются в ClickHouse

  3. Модель-судья на YandexGPT, GigaChat или локальной Qwen оценивает ответы по эталонным наборам вопросов

  4. Evidently отслеживает дрейф качества

  5. Prometheus и Grafana присылают оповещение в Telegram, и команда разработки ищет и устраняет причину

1С

Как решение работает с 1С

Если ИИ-сервисы записывают результат в 1С — распознанные документы, ответы клиентам, — в журнал стоит передавать ссылку на объект 1С и отметку, что пользователь исправил результат: это самый надёжный признак ошибки модели.

Технологии, команда и что учесть

Технологии

Российские и открытые продукты, а также системы, которые уже работают у вас.

  • Langfuse
  • Arize Phoenix
  • Kubernetes
  • Yandex Cloud
  • ClickHouse
  • YandexGPT
  • GigaChat
  • Evidently
  • Prometheus
  • Grafana

Команда

Кто нужен для внедрения — с нашей и с вашей стороны.

  • MLOps/DevOps-инженер
  • LLM-инженер
  • инженер данных

Что важно учесть

  • Нужно, чтобы все ИИ-приложения писали журналы запросов и ответов в едином формате, и нужны эталонные наборы вопросов для оценки.
  • В журналах есть персональные данные клиентов, поэтому по 152-ФЗ нужны маскирование и хранение в России.
  • Первый шаг — развернуть открытый Langfuse и подключить к нему одно работающее решение.

Другие решения

Все решения

Похожая задача?

Обсудим, как это сделать у вас

Расскажите, какой процесс хотите улучшить. Договоримся о критериях результата до начала пилота.

MailSoftSimple@yandex.ru+7 (980) 192-00-02Telegram: @SoftSimpleRu

Заявка

Как с вами связаться

Заполните хотя бы одно поле.

Перед отправкой подтвердите, что вы не робот.