Авторизация
Сброс пароля
Построение системы управления метаданными и комплаенс-контроля в корпоративном хранилище данных
Заказчик: Крупный финансово-технологический холдинг с глобальным распределённым хранилищем данных и гетерогенной ИТ-инфраструктурой
Страница кейса/результат: https://www.simbirsoft.com/portfolio/postroenie-sistemy-upravleniya-metadannymi-i-komplaens-kontrolya-v-korporativnom-khranilishche-danny/
Исключили репутационные риски и штрафы от регуляторов, разблокировали запуск новых продуктов за счет гарантии сохранности персональных данных.
Агентство-исполнитель кейса
SimbirSoft
С 2001 года создаем серверные и кроссплатформенные решения для медицинских, финансовых, логистических компаний. В частности, в Backend-направлении 350+ разработчиков на проекты под ключ или усиление вашей команды. Сэкономьте до 40% на найме и содержании штатных специалистов с SimbirSoft!
1. Вводная задача от заказчика, проблематика, цели
Развитие хранилища требовало строгого соблюдения требований информационной безопасности и комплаенса. Однако в распределённой среде отсутствовала прозрачность: было непонятно, где хранятся персональные данные, кто имеет к ним доступ и как они мигрируют между узлами-источниками. Без управляемого контура данных компания не могла гарантировать регуляторам сохранность персональных данных, что блокировало запуск новых продуктов и создавало репутационные риски.
Бизнес-задачи: исключить репутационные риски и штрафы от регуляторов, разблокировать запуск новых продуктов за счет гарантии сохранности персональных данных.
Задача в контексте разработки: классифицировать данные по уровням конфиденциальности (включая специфику смарт-контрактов), построить автоматизированный Data Lineage и обеспечить сквозной аудит доступа без остановки высоконагруженных процессов.
2. Описание реализации кейса и творческого пути по поиску оптимального решения
Что планировали сделать
Сначала определить модель управления данными (роли, таксономия), а затем внедрить инструменты для автоматизации контроля.
Гипотезы
Если связать бизнес-термины с техническими метаданными и автоматизировать применение политик безопасности, комплаенс перестанет быть «бутылочным горлышком».
Почему решали эту задачу именно так
Инструмент не работает без методологии. Atlas не смог бы ничего сделать без предварительно разработанной корпоративной таксономии.
Этапы, сроки, инструменты
Этап 1 (1 месяц): разработка таксономии, определение Data Owners.
Этап 2 (2 месяца): развертывание Apache Atlas, настройка сбора метаданных, создание бизнес-глоссария.
Этап 3 (1 месяц): интеграция с Apache Ranger, настройка динамического маскирования, тестирование аудита доступа.
3. Результаты сотрудничества
ROI
Снижены затраты на комплаенс и аудит за счет автоматизации (экономия человеко-часов на сбор логов и подготовку отчетов для регулятора). Предотвращены потенциальные штрафы.
Что удалось улучшить
Время поиска нужного актива данных сократилось в разы.
4. Заключение
Бизнес-эффект
Обеспечена 100% прозрачность данных. Процесс проверок безопасности автоматизирован: аудиторы получают логи доступа и карту данных напрямую из системы. Исключена утечка персональных данных из аналитическиех отчётов.
Трудности
Специфика архитектуры
В распределённой сети сложно отследить путь данных. Была проведена работа по нормализации: создан словарь эталонных имён, что позволило связать данные из разрозненных источников с корпоративного хранилища данных (КХД).
Ложные срабатывания при автоматической классификации персональных данных
В транзакционных данных сложно отличить хэш от реального идентификатора. Внедрили двухуровневую проверку: автоматическое тегирование в Atlas + ручная валидация со стороны Data Steward (специалист, отвечающий за управление качеством и смыслом данных).
Технологии
- Apache Atlas (Каталог метаданных)
- Apache Ranger (Управление доступом и политиками)
- Python (Автоматизация сбора метаданных)
- Реляционные СУБД и распределенные хранилища
Агентство-исполнитель кейса
SimbirSoft
С 2001 года создаем серверные и кроссплатформенные решения для медицинских, финансовых, логистических компаний. В частности, в Backend-направлении 350+ разработчиков на проекты под ключ или усиление вашей команды. Сэкономьте до 40% на найме и содержании штатных специалистов с SimbirSoft!