Data Quality Agent: Мультиагентна архітектура, інтеграції та безпека

Сучасні корпоративні архітектури даних вимагають високого рівня безпеки, міжсистемної зв'язності та автоматизованої співпраці агентів. Data Quality Agent розроблений для безперебійної роботи в межах мультиагентної екосистеми співпраці, прямої інтеграції з хмарними сховищами даних та інструментами оркестрації, а також функціонування всередині суворої пісочниці безпеки з нульовим збереженням даних (zero-data-storage).

Мультиагентна архітектура та співпраця

В екосистемі Datapunkt спеціалізовані агенти працюють разом під управлінням Root Orchestrator для проєктування, валідації, виконання та моніторингу конвеєрів даних. Data Quality Agent функціонує як основний валідатор, гарантуючи, що всі дані відповідають ключовим вимірам якості до їх переміщення або споживання.

Конвеєр співпраці агентів

1. Source Catalog Agent: Отримує доступ до фізичних джерел даних (наприклад, PostgreSQL, MySQL), профілює набори даних та публікує визначення схем.
2. Data Modeling Agent: Запитує структури джерел та будує цільові схеми (такі як Raw Vault або аналітичні моделі), оптимізовані для сховища.
3. Mapping Contract Agent: Порівнює схеми джерел із цільовими схемами для визначення конкретних правил трансформації та обмежень якості даних у контракті YAML під контролем версій.
4. Transformation Agent: Зчитує згенеровані контракти мапінгу та виконує фізичні трансформації (використовуючи скрипти SQL або Python).
5. Data Quality Agent (Цей агент): Аналізує схеми даних, перекладає правила природної мови в активну логіку валідації та моніторить потоки даних на предмет збоїв якості за сімомальними вимірами (INTEGRITY, TIMELINESS, COMPLETENESS, ACCURACY, CONSISTENCY, UNIQUENESS та VALIDITY).
6. Data Lineage Agent: Збирає метадані від усіх агентів, включаючи перевірки якості, визначені Data Quality Agent, для компіляції всебічного графа всієї лінії походження даних на рівні окремих стовпчиків.

Завдяки поєднанню цих спеціалізованих агентів платформа автоматизує весь життєвий цикл розробки та тестування, захищаючи системи від збоїв нижчого рівня без необхідності ручного написання коду.

Інтеграції платформи та інструментів

Data Quality Agent підтримує широкий спектр баз даних, файлів, платформ оркестрації та інструментів співпраці.

Підтримувані джерела та цілі даних

• Хмарні сховища: Snowflake, Google BigQuery, Amazon Redshift та Databricks.
• Реляційні бази даних: PostgreSQL, MySQL та Microsoft SQL Server.
• Системи зберігання: Amazon S3, Google Cloud Storage (GCS) та Azure Data Lake Storage (ADLS).

Оркестрація та фреймворки тестування

• Great Expectations: Генерує готові до використання набори очікувань (expectation suites) та скрипти валідації.
• dbt (data build tool): Компілює правила валідації у тести dbt, загальні тести або твердження на основі пакетів.
• Apache Airflow / Prefect / Dagster: Інтегрується через декоратори завдань та оператори для запуску прогонів якості та обробки сповіщень.

Інтеграції для співпраці та чатів

• Teams & Slack: Підключайте агента до Microsoft Teams або Slack для запитів профілів якості, перегляду статусу тестів та отримання сповіщень у режимі реального часу. Зверніться до служби підтримки на сайті Datapunkt для запиту токенів налаштування.

Безпека, конфіденційність та захист даних

Ми розуміємо, що валідація даних передбачає взаємодію з чутливими схемами та значеннями стовпчиків. Data Quality Agent розроблений із суворими принципами безпеки в першу чергу для захисту ваших активів.

Політика нульового збереження даних (Zero-Data Storage Policy)

Основна перевага безпеки архітектури Datapunkt полягає в тому, що ми не зберігаємо ваші операційні записи баз даних:

• Агент сканує лише метадані, такі як схеми таблиць, визначення DDL або невеликі зразки тестових даних, надані для профілювання.
• Агент ніколи не отримує доступу, не запитує і не зберігає фактичні рядки транзакційних даних, записи клієнтів або чутливу особисту інформацію.
• Ваші бізнес-дані залишаються в межах вашої приватної мережі.

Тимчасова обробка в оперативній пам'яті

Для запобігання несанкціонованому доступу до метаданих усе профілювання, мапінг правил та генерація коду виконуються тимчасово в оперативній пам'яті:

• Правила валідації та статистика профілювання генеруються в режимі реального часу під час вашої активної сесії.
• Після закриття сесії кєш в оперативній пам'яті негайно очищається.
• Жодні технічні метадані або графи мапінгу не зберігаються в базах даних нашої платформи.

Шифрування та безпечний доступ

• Шифрування передачі даних: Усі комунікації між вашими системами, оркестраторами та агентом захищені шифруванням TLS 1.3.
• Ізоляція облікових даних: Агент підключається до сховищ метаданих, використовуючи облікові дані тільки для читання з мінімальними правами доступу, що гарантує неможливість модифікації схем або читання рядків даних.

Мультирегіональний контроль резиденційності

Ви можете вказати регіон, де розміщується екземпляр агента та метадані сесії для відповідності корпоративним та місцевим нормам:

• США (US)
• Європа (EU)
• Азіатсько-Тихоокеанський регіон (APAC)
• Визначене клієнтом місце розташування (для індивідуальних розгортань)

Усунення несправностей та підтримка

Дотримуйтесь цих практик для вирішення поширених операційних викликів:

Невирішені посилання на поля

Якщо згенеровані скрипти валідації повертають помилки компіляції щодо відсутніх полів, переконайтеся, що DDL-схема, надана під час етапу профілювання, відповідає поточному стану вашої фізичної таблиці бази даних.

Сповіщення про невдалу валідацію

Якщо валідація зазнає невдачі за критичними вимірами, такими як INTEGRITY (наприклад, відсутні ключі батьківських записів) або VALIDITY (наприклад, некоректні шаблони), перевірте вихідний лог прогону валідації у вашому оркестраторі для ідентифікації конкретних рядків, які порушили вимоги.

Технічна підтримка

Для індивідуальних конфігурацій API, корпоративного ліцензування або варіантів розгортання в приватній хмарі зв'яжіться з нашою службою підтримки безпосередньо через сайт Datapunkt.

Переваги: Чому це ефективно?

• Архітектура безпеки з нульовим збереженням: Обробляє лише метадані схем та зразки, гарантуючи, що ваші чутливі транзакційні дані ніколи не залишають вашого середовища.
• Автоматична мультиагентна синхронізація: Інтегрується з усім набором агентів Datapunkt, негайно оновлюючи ваші обмеження валідації при зміні схем вищого рівня або контрактів мапінгу.
• Надійний захист за кількома вимірами: Валідує дані за вимірами INTEGRITY, TIMELINESS, COMPLETENESS, ACCURACY, CONSISTENCY, UNIQUENESS та VALIDITY.
• Багатофреймворковий експорт: Генерує готовий до запуску код для SQL, Python або Great Expectations, органічно вписуючись у ваш існуючий стек оркестрації.