01Задача
Когда в корпоративное хранилище стекаются огромные объёмы данных из десятков систем, описывать таблицы и вести метаданные (описания данных) вручную дорого, долго и чревато ошибками.
Каждая новая таблица в хранилище получает понятное описание, правила качества и отметку столбцов с персональными данными.
Типовое решение для внедрения
Это не выполненный проект и не кейс клиента: подход, стек и сроки — ориентир. План и критерии результата согласуем после разбора вашей задачи.
01Задача
Когда в корпоративное хранилище стекаются огромные объёмы данных из десятков систем, описывать таблицы и вести метаданные (описания данных) вручную дорого, долго и чревато ошибками.
02Решение
При появлении новой таблицы её структура и замаскированный пример данных автоматически отправляются локальной языковой модели. Модель возвращает понятное бизнес-описание, предлагает правила качества данных и отмечает столбцы с персональными данными. Эти сведения автоматически заносятся в каталог данных, а разметку персональных данных проверяет ответственный за данные.
03Что это даёт
Хранилище документируется и классифицируется почти без ручного труда, а ответственный за данные видит, где лежат персональные данные.
Как это работает
Появление новой таблицы в ClickHouse, PostgreSQL или Greenplum запускает процесс в Airflow
Структура таблицы и замаскированный пример данных уходят в локальную модель Qwen или DeepSeek
Модель пишет бизнес-описание, предлагает правила качества и отмечает столбцы с персональными данными — в структурированном виде
Метаданные автоматически заносятся в каталог данных OpenMetadata или DataHub
Разметку персональных данных проверяет ответственный за данные
1С
У таблиц базы 1С обезличенные имена (_Reference123, _Fld456), поэтому для данных из 1С описания надёжнее строить по метаданным конфигурации — русским именам объектов и реквизитов — и выгружать их в каталог.
Российские и открытые продукты, а также системы, которые уже работают у вас.
Кто нужен для внедрения — с нашей и с вашей стороны.
Похожая задача?
Расскажите, какой процесс хотите улучшить. Договоримся о критериях результата до начала пилота.
MailSoftSimple@yandex.ru+7 (980) 192-00-02Telegram: @SoftSimpleRu