Mapping Contract Agent: Мультиагентна архітектура, інтеграції та безпека
Сучасні корпоративні конвеєри даних вимагають координації, широкої підтримки платформ та суворих принципів безпеки. Mapping Contract Agent працює у межах мультиагентної архітектури співпраці, інтегрується з основними хмарними сховищами даних та функціонує в модель безпеки з нульовим збереженням (zero-storage). Він включає основні можливості, такі як автоматизована документація, виконання бізнес-логіки (SQL/Python), лінія походження джерело-ціль (source-to-target), правила перевірки DQ, робочі процеси затвердження та контроль версій.
Мультиагентна архітектура та співпраця
В екосистемі Datapunkt спеціалізовані агенти працюють разом під управлінням Root Orchestrator для автоматизації конвеєрів. Mapping Contract Agent виступає як міст між схемами джерел та цільовими моделями.
Тріада співпраці
- Source Catalog Agent: Підключається до необроблених джерел даних, профілює стовпчики та публікує метадані схеми джерела.
- Data Modeling Agent: Проєктує та генерує цільові схеми на основі бізнес-проєктів сховищ даних або канонічних стандартів.
- Mapping Contract Agent (Цей агент): Споживає схему джерела від Source Catalog Agent, порівнює її з цільовою схемою від Data Modeling Agent і встановлює зв'язок Source-to-Target, власну бізнес-логіку та правила DQ Validation.
Подальші інтеграції
- Transformation Agent: Використовує згенерований контракт мапінгу та файли SQL/Python для виконання фізичних конвеєрів ETL/ELT.
- Data Quality Agent: Посилається на правила DQ Validation контракту для встановлення очікувань та відстеження операційної якості даних.
- Data Lineage Agent: Зчитує визначення мапінгу Source-to-Target контракту для візуалізації графів лінії походження на рівні стовпчиків.
Інтеграції
Mapping Contract Agent підтримує широкий спектр систем баз даних, файлових систем та додатків контролю версій.
Підтримувані формати вхідних джерел
- Бази даних: PostgreSQL, MySQL та Oracle.
- Файли: CSV, JSON, Parquet та Avro.
- Прямий імпорт: Прямий імпорт метаданих доступний для розширених корпоративних конфігурацій.
Підтримувані цільові призначення
- Сховища даних: Google BigQuery, Snowflake та Amazon Redshift.
- Озера даних: Google Cloud Storage (GCS), Amazon S3 та Azure Data Lake Storage (ADLS).
- Бази даних: PostgreSQL та MySQL.
Інтеграції з контролем версій та розгортанням
- Git-репозиторії: Відправляйте керовані версіями контракти YAML/JSON безпосередньо в GitHub, GitLab або Bitbucket.
- Оркестратори CI/CD: Інтегрується з Airflow, Prefect, Dagster та dbt для виконання згенерованих трансформацій SQL/Python та запуску шлюзів валідації.
Інтеграція з чатами
- Інструменти співпраці: Підключайте агента до Slack або Microsoft Teams для редагування схем мапінгу у спільних каналах. Зверніться до служби підтримки на сайті Datapunkt для запиту токенів налаштування.
Безпека, комплаєнс та резиденційність даних
Datapunkt надає пріоритет безпеці та корпоративному комплаєнсу. Mapping Contract Agent розроблено для захисту ваших активів метаданих.
Політика нульового збереження даних (Zero-Data Storage Policy)
Основна перевага безпеки архітектури Datapunkt полягає в тому, що ми не зберігаємо ваші операційні записи баз даних:
- Агент обробляє лише визначення схем, назви стовпців та структури метаданих.
- Фактичні транзакційні дані, інформація про клієнтів та рядки таблиць ніколи не торкаються і не зберігаються на наших серверах.
- Увесь парсинг виконується в оперативній пам'яті та видаляється після завершення сесії, залишаючи ваші дані в межах вашої мережі.
Підтримка корпоративного комплаєнсу
- GDPR & CCPA: Агент спрощує відповідність вимогам шляхом ідентифікації шляхів мапінгу PII та відстеження маршрутизації чутливих даних.
- SOC 2 & ISO 27001: Працює з використанням ізоляції облікових даних, шифрування передачі даних TLS 1.3 та логів аудиту, що фіксують усі системні дії.
- Approval Workflow & Version Control: Відповідає вимогам комплаєнсу шляхом логування інформації про те, хто затвердив кожен контракт мапінгу, разом із повною історією ревізій.
Мультирегіональний контроль резиденційності
Ви можете вказати регіон, де розміщується екземпляр агента та метадані сесії:
- США (US)
- Європа (EU)
- Азіатсько-Тихоокеанський регіон (APAC)
- Визначене клієнтом місце розташування (для індивідуальних розгортань)
Усунення несправностей та підтримка
Дотримуйтесь цих практик для вирішення поширених операційних викликів:
Обробка невідповідностей типів
Якщо агент повідомляє про невідповідність типів між полями джерела та цілі, напишіть запит у чаті з проханням застосувати чіткі правила приведення типів (casting) у згенерованій трансформації SQL/Python.
Вирішення збоїв валідації
Якщо шлюзи DQ Validation відхиляють зміни мапінгу схем, перевірте умови валідації в редакторі контракту. Ви можете оновити межі валідації у вікні чату.
Підтримка клієнтів
Для індивідуальних конфігурацій API, корпоративного ліцензування або питань підписки зв'яжіться з нашою службою підтримки безпосередньо через сайт Datapunkt.
Переваги: Чому це ефективно?
- Архітектура безпеки з нульовим збереженням: Захищає ваші чутливі бізнес-дані, обробляючи лише метадані.
- Безперервна мультиагентна синхронізація: Інтегрується з агентами Source Catalog та Data Modeling, гарантуючи автоматичне оновлення мапінгів при зміні схем.
- Спрощений аудит: Поєднання історії Version Control та логів підписів Approval Workflow надає миттєву звітність про комплаєнс.
- Високопортативні конвеєри трансформацій: Генерація скриптів SQL та Python дозволяє легко розгортати трансформації в будь-якому рушії виконання.