Перейти к содержанию
SoftSimpleНаши проекты
  1. Проекты и решения
  2. ИТ, данные и безопасность

Типовое решениеПлатформа данных и инфраструктураКомпании с хранилищем данных

Автоматическое описание и классификация данных в корпоративном хранилище

Каждая новая таблица в хранилище получает понятное описание, правила качества и отметку столбцов с персональными данными.

Типовое решение для внедрения

Это не выполненный проект и не кейс клиента: подход, стек и сроки — ориентир. План и критерии результата согласуем после разбора вашей задачи.

Задача, решение и результат

01Задача

Когда в корпоративное хранилище стекаются огромные объёмы данных из десятков систем, описывать таблицы и вести метаданные (описания данных) вручную дорого, долго и чревато ошибками.

02Решение

При появлении новой таблицы её структура и замаскированный пример данных автоматически отправляются локальной языковой модели. Модель возвращает понятное бизнес-описание, предлагает правила качества данных и отмечает столбцы с персональными данными. Эти сведения автоматически заносятся в каталог данных, а разметку персональных данных проверяет ответственный за данные.

03Что это даёт

Хранилище документируется и классифицируется почти без ручного труда, а ответственный за данные видит, где лежат персональные данные.

Как это работает

Путь данных и решений — по шагам

  1. Появление новой таблицы в ClickHouse, PostgreSQL или Greenplum запускает процесс в Airflow

  2. Структура таблицы и замаскированный пример данных уходят в локальную модель Qwen или DeepSeek

  3. Модель пишет бизнес-описание, предлагает правила качества и отмечает столбцы с персональными данными — в структурированном виде

  4. Метаданные автоматически заносятся в каталог данных OpenMetadata или DataHub

  5. Разметку персональных данных проверяет ответственный за данные

1С

Как решение работает с 1С

У таблиц базы 1С обезличенные имена (_Reference123, _Fld456), поэтому для данных из 1С описания надёжнее строить по метаданным конфигурации — русским именам объектов и реквизитов — и выгружать их в каталог.

Технологии, команда и что учесть

Технологии

Российские и открытые продукты, а также системы, которые уже работают у вас.

  • ClickHouse
  • PostgreSQL
  • Greenplum
  • OpenMetadata
  • DataHub
  • Qwen
  • DeepSeek
  • vLLM
  • Airflow

Команда

Кто нужен для внедрения — с нашей и с вашей стороны.

  • инженер данных
  • инженер по языковым моделям (LLM)
  • ответственный за данные с вашей стороны

Что важно учесть

  • Нужен доступ к вашему хранилищу и каталогу данных; пример данных содержит персональные данные, поэтому модель нужна только локальная, а выборку лучше маскировать.
  • Разметку персональных данных проверяет ответственный за данные: от неё зависит выполнение 152-ФЗ.
  • Первый шаг — автоописание 50 таблиц одной предметной области и отчёт о найденных персональных данных.

Другие решения

Все решения

Похожая задача?

Обсудим, как это сделать у вас

Расскажите, какой процесс хотите улучшить. Договоримся о критериях результата до начала пилота.

MailSoftSimple@yandex.ru+7 (980) 192-00-02Telegram: @SoftSimpleRu

Заявка

Как с вами связаться

Заполните хотя бы одно поле.

Перед отправкой подтвердите, что вы не робот.