Source Catalog Agent: Мультиагентна архітектура, інтеграції та безпека

Корпоративне каталогізування метаданих вимагає надійної координації, широких інтеграцій та суворих принципів безпеки. Source Catalog Agent надає базовий рівень для інших агентів Datapunkt, взаємодіє безпосередньо зі стандартними промисловими системами та працює в межах архітектури безпеки з нульовим збереженням (zero-storage), що відповідає корпоративним стандартам безпеки.

Мультиагентна архітектура та співпраця

В екосистемі Datapunkt агенти не працюють ізольовано. Source Catalog Agent функціонує як первинна точка входу, виявляючи та реєструючи метадані, на які покладаються наступні агенти:

• Data Lineage Agent: Використовує схеми та ID стовпчиків, сопоставлені Source Catalog Agent, для побудови залежностей на рівні окремих полів.
• Data Quality Agent: Посилається на профілі каталогу для встановлення базових правил (таких як очікувана частка порожніх значень, унікальність та розподіл значень) для перевірок якості даних.
• Transformation Agent: Використовує згенеровані основні схеми як контракти джерел, генеруючи код SQL, Python або Spark для очищення та перебудови даних.
• Data Architect & Product Agents: Споживають стандартні визначення для збирання продуктів даних вищого рівня та концептуальних графів.

Використовуючи Source Catalog Agent як єдину точку входу, ви запобігаєте виконанню вихідними агентами дубльованих сканувань. Це зменшує навантаження на читання в продакшен-системах.

Інтеграції

Source Catalog Agent органічно вписується в різноманітні середовища завдяки підтримці стандартних каналів збору та призначення:

Методи збору (Ingestion Methods)

• Реляційні бази даних (JDBC / ODBC): Підключається до реляційних платформ, таких як PostgreSQL, MySQL, Oracle та Microsoft SQL Server, для вилучення списків таблиць, типів стовпців та обмежень.
• Потоки подій (Apache Kafka / AMQP): Підключається до брокерів Kafka або черг повідомлень AMQP (наприклад, RabbitMQ) для мапінгу схем із динамічних payloads повідомлень.
• Колоночні та напівструктуровані формати (Parquet / JSON / AVRO): Розбирає фізичні файли в об'єктних сховищах, зіставляючи вкладені атрибути зі стандартними моделями.
• API та логи обробки (REST API / Open Lineage): Збирає операційні метадані безпосередньо з кінцевих точок REST та стандартів лінії походження з відкритим кодом.

Цільові призначення (Downstream Destinations)

Після структурування метаданих агент публікує їх у:

• Хмарні сховища даних: Синхронізує моделі метаданих з Google BigQuery, Snowflake та Amazon Redshift.
• Корпоративні каталоги: Експортує деталі в корпоративні каталоги з відкритим кодом або власними розробками.
• Операційні бази даних: Записує властивості мапінгу назад у транзакційні таблиці для підтримки власних адміністративних систем.

Безпека, комплаєнс та резиденційність даних

Управління даними вимагає суворих контролів безпеки. Source Catalog Agent розроблено з нуля для захисту необроблених активів даних та підтримки корпоративного комплаєнсу.

Архітектура з нульовим збереженням (Zero-Storage Architecture)

Основний принцип проєктування Source Catalog Agent полягає в тому, що жодні дані клієнта не зберігаються на серверах Datapunkt. Агент отримує доступ до схем, назв та розподілів динамічно, але не копіює, не зберігає і не витягує базові записи. Оскільки дані на рівні рядків ніколи не залишають периметр вашої мережі, ризики витоку даних та порушення комплаєнсу повністю усуваються.

Підтримка корпоративного комплаєнсу

Агент розроблений для підтримки основних нормативних актів про конфіденційність даних:

• GDPR: Спрощує відповідність вимогам шляхом ідентифікації місць збереження персональних даних (PII), підтримуючи операції доступу та видалення даних.
• CCPA: Зіставляє розташування споживчих даних у системах, допомагаючи виконувати регуляторні запити.
• SOC 2 & ISO 27001: Вписується в корпоративні моделі безпеки через ізоляцію облікових даних, зашифроване сховище та детальний аудит доступу.

Аутентифікація та контроль доступу

Агент підключається до вашої інфраструктури, використовуючи промислові стандарти безпеки для запобігання несанкціонованому доступу:

• Сервісні акаунти: Працює через суворо обмежені сервісні акаунти тільки для читання системних каталогів баз даних.
• OAuth 2.0: Використовує безпечний обмін токенами для хмарних джерел, уникаючи розкриття паролів.

Мультирегіональна резиденційність даних

Для відповідності місцевим регуляторним вимогам ви можете обрати географічний регіон, де розміщується екземпляр агента та його тимчасові метадані обробки:

• США (US)
• Європа (EU)
• Азіатсько-Тихоокеанський регіон (APAC)
• Визначене клієнтом місце розташування (для індивідуальних корпоративних середовищ)

Переваги: Чому це ефективно?

• Зменшує навантаження на інфраструктуру: Одне сканування забезпечує метаданими кількох наступних агентів, економлячи мережеву пропускну здатність та обчислювальну потужність баз даних.
• Модель безпеки Zero Trust: Працює виключно на рівні метаданих, гарантуючи, що записи ваших клієнтів ніколи не перетинають межі мережі.
• Стандартизовані інтеграції: Усуває невідповідності форматів, об'єднуючи застарілі бази даних JDBC та сучасні черги повідомлень Kafka/AMQP під єдиним визначенням схеми.
• Гнучкий контроль резиденційності: Відповідає мандатам щодо географічного зберігання даних, забезпечуючи локалізовані межі даних.