Data Lineage Agent: Мультиагентна архітектура, інтеграції та безпека

Сучасні корпоративні архітектури даних вимагають високого рівня безпеки, міжсистемної зв'язності та автоматизованої співпраці агентів. Data Lineage Agent розроблений для безперебійної роботи в межах мультиагентної екосистеми співпраці, прямої інтеграції з хмарними сховищами даних та інструментами оркестрації, а також функціонування всередині суворої пісочниці безпеки з нульовим збереженням даних (zero-data-storage).

Мультиагентна архітектура та співпраця

В екосистемі Datapunkt спеціалізовані агенти працюють разом під управлінням Root Orchestrator для проєктування, валідації, виконання та моніторингу конвеєрів даних. Data Lineage Agent функціонує як основний спостерігач, захоплюючи метадані від кожного агента для компіляції наскрізної карти лінії походження.

Конвеєр співпраці агентів

1. Source Catalog Agent: Отримує доступ до фізичних джерел даних (наприклад, PostgreSQL, MySQL), профілює набори даних та публікує визначення схем.
2. Data Modeling Agent: Запитує структури джерел та будує цільові схеми (такі як Raw Vault або аналітичні моделі), оптимізовані для сховища.
3. Mapping Contract Agent: Порівнює схеми джерел із цільовими схемами для визначення конкретних правил трансформації та обмежень якості даних у контракті YAML під контролем версій.
4. Transformation Agent: Зчитує згенеровані контракти мапінгу та виконує фізичні трансформації (використовуючи скрипти SQL або Python).
5. Data Quality Agent: Аналізує потоки даних для валідації правил та відстеження операційної якості даних.
6. Data Lineage Agent (Цей агент): Збирає метадані від усіх вищезазначених агентів для компіляції всебічного графа всієї лінії походження даних на рівні окремих стовпчиків.

Завдяки поєднанню цих спеціалізованих агентів платформа автоматизує весь життєвий цикл лінії походження без необхідності ручного документування залежностей розробниками.

Інтеграції платформи та інструментів

Data Lineage Agent підтримує широкий спектр баз даних, файлів, платформ оркестрації та інструментів співпраці.

Підтримувані джерела та цілі даних

• Хмарні сховища: Snowflake, Google BigQuery, Amazon Redshift та Databricks.
• Реляційні бази даних: PostgreSQL, MySQL та Microsoft SQL Server.
• Системи зберігання: Amazon S3, Google Cloud Storage (GCS) та Azure Data Lake Storage (ADLS).

Оркестрація та рушії метаданих

• dbt (data build tool): Розбирає файли manifest.json та catalog.json для миттєвого рендерингу вашого графа лінії походження dbt.
• Apache Airflow / Prefect / Dagster: Інтегрується через розширення слухачів OpenLineage для захоплення станів виконання завдань, вхідних та вихідних даних.
• Apache Atlas / Collibra / Alation: Підтримує прямий експорт пакетів метаданих для заповнення корпоративних каталогів.

Інтеграції для співпраці та чатів

• Teams & Slack: Підключайте агента до Microsoft Teams або Slack для запитів шляхів лінії походження безпосередньо у спільних каналах. Зверніться до служби підтримки на сайті Datapunkt для запиту токенів налаштування.

Безпека, конфіденційність та захист даних

Ми розуміємо, що лінія походження даних передбачає аналіз чутливих визначень схем, структур баз даних та внутрішньої бізнес-логіки. Data Lineage Agent розроблений із суворими принципами безпеки в першу чергу для захисту ваших активів.

Політика нульового збереження даних (Zero-Data Storage Policy)

Основна перевага безпеки архітектури Datapunkt полягає в тому, що ми не зберігаємо ваші операційні записи баз даних:

• Агент сканує лише метадані, такі як назви таблиць, структури стовпчиків та код конфігурацій.
• Агент ніколи не отримує доступу, не запитує і не зберігає фактичні рядки даних, записи клієнтів або логи транзакцій.
• Ваші бізнес-дані залишаються в межах вашої приватної мережі.

Тимчасова обробка в оперативній пам'яті

Для запобігання несанкціонованому доступу до метаданих побудова лінії походження, парсинг схем та мапінг залежностей виконуються тимчасово в оперативній пам'яті:

• Графи лінії походження генеруються в режимі реального часу під час вашої активної сесії.
• Після закриття сесії кєш в оперативній пам'яті негайно очищається.
• Жодні технічні метадані або графи мапінгу не зберігаються в базах даних нашої платформи.

Шифрування та безпечний доступ

• Шифрування передачі даних: Усі комунікації між вашими базами даних, оркестраторами та агентом захищені шифруванням TLS 1.3.
• Ізоляція облікових даних: Агент підключається до сховищ метаданих, використовуючи облікові дані тільки для читання з мінімальними правами доступу, що гарантує неможливість модифікації схем або читання рядків даних.

Мультирегіональний контроль резиденційності

Ви можете вказати регіон, де розміщується екземпляр агента та метадані сесії для відповідності корпоративним та місцевим нормам:

• США (US)
• Європа (EU)
• Азіатсько-Тихоокеанський регіон (APAC)
• Визначене клієнтом місце розташування (для індивідуальних розгортань)

Усунення несправностей та підтримка

Дотримуйтесь цих практик для вирішення поширених операційних викликів:

Від'єднані вузли лінії походження

Якщо частини вашого конвеєра відображаються як від'єднані вузли на графі, переконайтеся, що ви завантажили відповідні файли Mapping Contract або виконання dbt. Без цих документів агент не може визначити, як таблиці вищого рівня з'єднуються з views нижчого рівня.

Відсутні події OpenLineage

Якщо агент не отримує подій конвеєра в режимі реального часу, перевірте, чи правильно налаштовано слухач OpenLineage у вашому рушії оркестрації (такому як Airflow або Spark) та чи вказано правильну URL-адресу кінцевої точки і ключі API.

Технічна підтримка

Для індивідуальних конфігурацій API, корпоративного ліцензування або варіантів розгортання в приватній хмарі зв'яжіться з нашою службою підтримки безпосередньо через сайт Datapunkt.

Переваги: Чому це ефективно?

• Архітектура безпеки з нульовим збереженням: Обробляє лише метадані схем, гарантуючи, що ваші чутливі транзакційні дані ніколи не залишають вашого середовища.
• Автоматична мультиагентна синхронізація: Інтегрується з усім набором агентів Datapunkt, негайно оновлюючи ваші шляхи лінії походження при зміні схем вищого рівня або трансформацій.
• Безшовна інтеграція інструментів: Підключається безпосередньо до ваших існуючих робочих процесів dbt та Airflow, збираючи деталі лінії походження без необхідності переписування коду.
• Багатостандартна відповідність: Експортує готові до аудиту документи, що відповідають W3C PROV та OpenLineage, забезпечуючи комплаєнс із суворими глобальними стандартами.