RT.Streaming

Импортонезависимый инструмент для эффективного управления процессами изменения, выгрузки и загрузки данных, позволяющий настроить потоковую или пакетную обработку данных из различных источников. Решает задачи корпоративной шины обмена данными: способен получать и обрабатывать данные из многочисленных внешних систем, хранить их в течение нужного для бизнеса периода времени и возвращать потребителям с удобной для них нагрузкой.

Ключевые функции и возможности

1. Обеспечивает безостановочный и отказоустойчивый обмен данными между различными системами компании, позволяет:
2. строить потоковые конвейеры данных в реальном времени, которые надежно передают данные между системами или приложениями
3. разрабатывать потоковые приложения в реальном времени, которые преобразуют или реагируют на потоки данных
4. хранить потоки записей, задавая нужный период хранения данных
5. разграничивать права доступа к потокам данных, изолируя критически важную информацию от несанкционированного доступа
6. Предоставляет возможности создания событийной архитектуры.
7. Имеет визуальный интерфейс, позволяющий соединить различные источники и потребителей данных, организовать pipe-line и запланировать регулярность его выполнения.
8. Позволяет организовать планирование сложных последовательностей задач с помощью создания направленных ацикличных графов (DAG) и отслеживать статус выполнения.
9. Гибкость и масштабируемость системы: всегда можно добавить в кластер новые серверы без остановки работы системы или же исключить ненужные.

Преимущества

1. Программный продукт зарегистрирован в реестре отечественного программного обеспечения.
2. Техническая поддержка и консультации пользователей на русском языке, полноценный комплект технической и эксплуатационной документации.
3. Гибкие варианты поставки и развертывания решения: от самостоятельной установки дистрибутива в инфраструктуре Заказчика до использования готового решения в облачной инфраструктуре дата-центров Ростелекома и его партнеров.
4. Совместимость и возможность интеграции с Hadoop и GreenPlum.
5. Возможность интеграции с различным источниками данных с помощью odbc/jdbc драйверов.
6. Удобный пользовательский интерфейс для NiFi и Airflow. Простая организация разработки и тестирования.
7. Множество коннекторов для загрузки и чтения из Kafka.
8. Управление с помощью RT.ClusterManager:

• автоматическая установка кластера, благодаря собственным ansible-скриптам
• мониторинг и отслеживание состояния каждого компонента системы
• возможность гибкого масштабирования

Поддержка различных процессов загрузки данных:

• batch
• realtime
• nrt

Область применения

Инструменты могут применяться в различных областях, где необходимо реализовать перегрузку и изменения данных в batch или realtime режиме.