Описание
Продукт «ПКБ Хранение и обработка данных» представляет собой комплекс решений, предназначенных для сбора, хранения, обработки и анализа больших объемов данных, важных для обеспечения информационной безопасности и эффективного управления данными в рамках банка или крупной организации. Основная задача данного набора модулей — создание централизованной системы хранения данных с возможностью их длительного архивирования, автоматической обработки и интеграции с системами аналитики и бизнес-поддержки. Это решение обеспечивает органичное масштабирование, позволяет гибко управлять параметрами загрузки и обработки данных, а также автоматизировать процессы актуализации информации.
Продукт создан на базе современных технологий хранения и обработки данных, включая системы Hadoop, Kafka, Apache Nifi, Oozie и Vector, что обеспечивает высокую производительность, надежность и масштабируемость. Он ориентирован на автоматизацию сложных рабочих процессов, связанных с обработкой больших данных, включая управление потоками, репартиционирование, сбор статистики и аудит журналов. Благодаря использованию открытых технологий и внутренней системы разработки банка, «ПКБ Хранение и обработка данных» решает задачу импортозамещения, повышая безопасность и устойчивость инфраструктуры данных.
Техническая архитектура продукта включает модули: автоматическую очистку исторических данных (ФК Автоочистка), управление задачами загрузки данных (Управление автоматическим запуском заданий), управление потоками данных (Управление релизами потоков, Менеджер потоков CTL), централизованный сервис конфигурации (Keeper), потоковую магистраль на базе Kafka, базы данных для функционирования Hadoop (hdfs_postgres, hue_postgres и др.), объекты для управления потоками (Кластер SDP Hadoop, БД Менеджера потоков). Также продукт содержит системы для репартиционирования данных, загрузки — используя Apache Nifi, и системы аналитики и аудита, такие как Vector и Flink.
При использовании «ПКБ Хранение и обработка данных» поддерживаются высокие показатели производительности за счет горизонтального масштабирования, что позволяет обрабатывать и хранить большие массивы данных независимо от их объема. Гибкая настройка параметров обеспечивает работу с различными типами источников и сценариями обработки, от небольших до очень больших данных. Возможность автоматического удаления данных после истечения срока хранения минимизирует требования к обслуживанию. Модульные компоненты системы позволяют легко расширять функциональность, обновлять части системы без остановки всей инфраструктуры, интегрировать новые источники данных или обновлять процессы обработки.
Использование решений внутри банка гарантирует безопасность данных, соответствие внутренним стандартам и требованиям регулирующих органов. Кроме того, автоматизация процессов загрузки и обработки данных сокращает временные издержки, повышает точность аналитики и снижает риск ошибок человеческого фактора. Продукт подходит для построения аналитических витрин, построения системы управления инцидентами безопасности, разведки и анализа данных, а также для долгосрочного хранения и поддержки нормативных требований по ведению архива информации. Благодаря поддержке широкой палитры протоколов и технологий обмена данными, «ПКБ Хранение и обработка данных» обеспечивает универсальность и адаптивность системы под меняющиеся бизнес-задачи и технологические вызовы.
| Спецификация | Детали |
|---|---|
| Архитектура | Модульная, основана на Hadoop, Kafka, Nifi, Oozie, Vector |
| Модули | Автоочистка, управление заданиями, менеджер потоков, репартиционирование, система аудита |
| Хранилища данных | HDFS, базы данных PostgreSQL, системы хранения метаданных |
| Обработка данных | Параллельная, потоковая и батчевая обработка с использованием Apache Flink и Kafka |
| Масштабирование | Горизонтальное масштабирование, расширение по мере роста данных |
| Автоматизация | Автоматический запуск заданий, автоматическое удаление данных, управление релизами потоков |
| Поддержка протоколов | Различные протоколы источников данных, включая REST, FTP, JDBC |
| Требования | Совместимость с существующими системами банка, наличие серверных ресурсов, установка и настройка серверного ПО |
| Производительность | Обработка больших объемов данных, минимизация времени обработки, масштабируемость |
В целом, «ПКБ Хранение и обработка данных» обеспечивает надежное, масштабируемое и автоматизированное решение для хранения и анализа данных, что повышает эффективность бизнес-процессов и безопасность информационной среды организации. Благодаря использованию проверенных технологий и внутренней разработки банка, продукт гарантирует высокую безопасность данных и устойчивость инфраструктуры, способствует автоматизации работы с большими объемами информации, а также позволяет соответствовать современным требованиям к управлению данными и аналитике.
Если вы обнаружили ошибку, пожалуйста, уведомите нас — выделите текст с ошибкой и нажмите клавиши Ctrl+Enter. Отключите блокировщик рекламы, если после нажатия комбинации кнопок не срабатывает всплывающее окно.
