RT.Warehouse

Ключевые функции и возможности

1. Обеспечивает хранение и обработку больших объемов информации – до десятков петабайт. Нагрузка и данные распределяются равномерно между серверами кластера. Масштабируются не только узлы, но и каналы загрузки и выгрузки данных, что существенно упрощает процесс интеграции с источниками данных и аналитическими системами.
2. Гибкость и производительность при обмене данными с внешними системами. В RT.Warehouse реализован протокол параллельного обмена данными со сторонними системами – Platform eXtension Framework, который обеспечивает взаимодействие с внешней системой одновременно всех сегментов кластера. Поддерживается интеграция с Oracle, Postgres, MS SQL, My SQL, MongoDB, SAP HANA и другими СУБД, а также с решениями другого класса: Hadoop (HDFS, Hive, Hbase), S3.
3. Безопасность достигается путём шифрования данных и соединений сервер-клиент по протоколу SSL на всех этапах их жизненного цикла. Кроме этого, все внутренние взаимодействия компонентов СУБД также могут быть зашифрованы с помощью протокола SSL, а данные, хранящиеся на дисках кластера – зашифрованы с помощью ключей PGP.
4. Ролевая модель доступа позволяет реализовать гибкие, изменяющиеся динамически в процессе функционирования правила разграничения доступа.
5. Полная совместимость с инструментом RT.DataSync для гибкого управления бэкапами и наполнением сред разработки и тестирования, который обеспечивает: синхронизацию между кластерами с разным количеством сегментов, автоматическую синхронизацию процессов бэкапа с процессами регулярных загрузок.
6. Коннектор Apache NiFi для параллельной загрузки данных напрямую в сегменты.
7. Управление RT.Warehouse обеспечивается через интерфейс RT.ClusterManager с передачей сообщений во внешние системы: автоматическая установка кластера, благодаря собственным ansible-скриптам, широкий набор метрик о состоянии хостов, производительности БД, возможность автоматического линейного расширения.
8. Возможность параллельной загрузки/выгрузки данных различных форматов (csv, json, parquet, orc, avro). Реализация сценариев «охлаждения» данных детального слоя.

Состав компонентов

Решение построено на исходном коде ПО Greenplum database, использует сборку Greenplum 6.7 (версия PostgreSQL 9.4, поддержка реплицированных таблиц, поддержка column-level security и др.) и включает последние версии компонентов и рекомендаций по настройке конфигурации.

Область применения

Поскольку RT.Warehouse поддерживает сложные запросы, обрабатывающие большие объемы данных, в том числе сложные аналитические функции, она эффективно может использоваться для построения корпоративного хранилища данных, BI-аналитики, AD-HOC запросов и data science.