Transformation Agent: Мультиагентна архітектура, інтеграції та безпека

Сучасні корпоративні конвеєри даних вимагають безпечного поводження з бізнес-логікою, інтеграції в сучасний стек даних та координації між спеціалізованими інструментами розробника. Transformation Agent функціонує в межах мультиагентної мережі співпраці, інтегрується безпосередньо з базами даних та git-репозиторіями, і виконує синтез коду у фреймворку безпеки з нульовим збереженням даних (zero-data-storage).

Мультиагентна архітектура та співпраця

В екосистемі Datapunkt спеціалізовані агенти працюють разом під управлінням Root Orchestrator для автоматизації життєвого циклу даних. Transformation Agent виступає як ядро розробки, перетворюючи конфігурації від вихідних агентів планування у виконувані скрипти:

• Source Catalog Agent: Витягує схеми та профілі даних із необроблених джерел. Transformation Agent зчитує ці профілі для перевірки точних назв та типів стовпчиків до генерації коду.
• Data Modeling Agent: Проєктує цільові вимірні схеми або схеми Data Vault. Transformation Agent споживає ці цільові схеми для структурування таблиць призначення.
• Mapping Contract Agent: Синтезує контракт мапінгу, що визначає точні трансформації на рівні окремих стовпчиків. Transformation Agent споживає цей контракт, компілюючи його у фізичний SQL або Python.
• Data Quality Agent: Визначає правила якості даних. Transformation Agent пише супутні твердження YAML, тести dbt або правила SQLMesh для забезпечення дотримання цих обмежень під час виконання.
• Data Lineage Agent: Аналізує згенеровані вихідні коди для побудови графа відстеження на рівні стовпчиків.

Завдяки розділенню завдань кожен агент залишається фокусованим на своєму домені. Ця архітектура дозволяє розробникам проєктувати, генерувати, тестувати та відстежувати конвеєри з мінімальним ручним втручанням.

Інтеграції платформи та інструментів

Transformation Agent підключається до ваших існуючих платформ, репозиторіїв та комунікаційних додатків для оптимізації робочих процесів розробки.

Технології виконання та моделювання

• SQLMesh: Генерує повні проєкти SQLMesh, включаючи файли моделей, початкові набори даних (seed datasets) та кроки виконання, налаштовані через cron.
• Dataform: Будує декларативні визначення .sqlx, що містять інкрементні конфігурації, залежності та вбудовані твердження якості даних.
• Google BigQuery: Синтезує BigQuery SQL, створюючи скрипти DDL та DML із використанням параметрів партиціонування та кластеризації.
• DF (DataFrame APIs): Генерує скрипти Python або PySpark із використанням DataFrame APIs для очищення, об'єднання та агрегації даних.
• Snowflake Scripting: Пише процедурні блоки Snowflake, що містять транзакційні структури та обробку виключень.
• dbt (data build tool): Компілює staging, intermediate та mart моделі поруч із файлами конфігурацій та тестування schema.yml.
• PySpark: Генерує розподілені скрипти Python, оптимізовані для обробки великих даних на кластерах Spark.

Хмарні платформи та сховища даних

Агент генерує код, адаптований для розгортання в основних хмарних середовищах:

• Google Cloud Platform (GCP) (BigQuery, Dataflow, Cloud Composer)
• Snowflake Cloud Data Platform
• Databricks Lakehouse Platform
• AWS (EMR, Glue, Redshift)
• Microsoft Azure (Synapse Analytics, Azure Databricks)

CI/CD та контроль версій

• Провайдери Git: Файли коду, згенеровані агентом, можуть відправлятися безпосередньо в GitHub, GitLab або Bitbucket.
• Конвеєри CI/CD: Інтеграція з інструментами, такими як GitHub Actions, GitLab CI або Azure DevOps, дозволяє запускати компіляцію, перевірку синтаксису та інтеграційні тести до розгортання коду.

Інтеграція для співпраці та чатів

• Teams & Slack: Підключайте агента до каналів Slack або Microsoft Teams для ініціалізації сесій генерації коду або запиту конвертації скриптів безпосередньо з ваших потоків обговорень. Зверніться до служби підтримки на сайті Datapunkt для отримання ключів авторизації.

Безпека, конфіденційність та захист даних

Ми ставимося до вашої пропрієтарної бізнес-логіки та метаданих із найвищим рівнем безпеки. Transformation Agent працює під дією суворих контролів конфіденційності:

Політика нульового збереження даних (Zero-Data Storage Policy)

Фундаментальне правило безпеки архітектури Datapunkt полягає в тому, що ми не зберігаємо і не зберігаємо постійно жодні ваші записи баз даних або схеми. Схеми та правила мапінгу, надані для прямого синтезу коду, зберігаються тимчасово в оперативній пам'яті під час вашої активної сесії в робочому просторі та повністю видаляються після її завершення.

Синтез лише на рівні логіки (Logic-Only Synthesis)

Агент ніколи не вимагає доступу до ваших фізичних наборів даних або вмісту баз даних. Він синтезує код, використовуючи структурні метадані (такі як схеми таблиць, типи даних стовпчиків та параметри мапінгу) та логічні бізнес-правила. Оскільки доступ до баз даних на рівні рядків ніколи не встановлюється, ризики витоку даних усуваються.

Тимчасова обробка в оперативній пам'яті

Уся компіляція схем, рендеринг коду та логічні трансформації виконуються в оперативній пам'яті. Після закриття сесії або закінчення тайм-ауту середовище обробки утилізується, гарантуючи, що жодні технічні метадані не залишаються на наших серверах.

Мультирегіональний контроль резиденційності

Ви можете вказати географічний регіон, де працює екземпляр агента, для відповідності місцевим нормам щодо даних:

• США (US)
• Європа (EU)
• Азіатсько-Тихоокеанський регіон (APAC)
• Визначене клієнтом місце розташування (для індивідуальних розгортань)

Усунення несправностей та підтримка

Дотримуйтесь цих рекомендацій для вирішення поширених проблем інтеграції:

Помилки компіляції в цільових рушіях

Якщо згенерований код викликає синтаксичні помилки у вашій цільовій базі даних, переконайтеся, що ви обрали правильний діалект та цільову версію на етапі ініціалізації сесії. Різні версії рушіїв (такі як Snowflake або Spark SparkSQL) можуть підтримувати різні функції.

Відсутні залежності

Якщо згенерований скрипт dbt або Dataform зазнає невдачі через відсутні таблиці вищого рівня, переконайтеся, що визначення вхідних схем, надані агенту, містять правильні посилання на джерела.

Технічна підтримка

Для індивідуальних конфігурацій API, корпоративного ліцензування або варіантів розгортання в приватній хмарі зв'яжіться з нашою службою підтримки безпосередньо через сайт Datapunkt.

Переваги: Чому це ефективно?

• Модель безпеки Zero Trust: Працює виключно на рівні метаданих, гарантуючи, що ваші бізнес-записи ніколи не залишають вашого безпечного периметра.
• Гнучка портативність платформ: Генерує код для SQLMesh, Dataform, BigQuery, Snowflake, dbt та PySpark, захищаючи вашу роботу від прив'язки до платформи.
• Мультиагентна екосистема співпраці: Синхронізується з іншими агентами Datapunkt для компіляції, тестування та документування ваших конвеєрів.
• Готовність до корпоративного CI/CD: Виводить стандартні кодові макети під контролем версій, які підключаються безпосередньо до вашого git-репозиторію та конвеєрів CI/CD.