Описание
Ключевые функции и возможности
- Полная или частичная выгрузка из таблиц источников.
- Доставка данных в файловую систему Hadoop Distributed File System (hdfs).
- Поддержка полной и инкрементальной выгрузки данных из таблиц/представлений/sql-запросов в файл csv на локальном сервере хранения данных.
- Запуск процесса выгрузки по расписанию или по условию наступления события.
- Архивирование выгруженных данных.
- Подсчет контрольных сумм для обеспечения контроля качества данных.
- Формирование очереди заданий на выгрузку для балансировки нагрузки на источник.
Преимущества
- Наличие интерфейса для настройки, управления и мониторинга процессов загрузки.
- Наличие оркестратора для управления потоками выгрузки.
- Сжатие данных в архив.
- Разделение процессов выгрузки и доставки данных для снижения нагрузки на источник при проблемах на стороне ХД.
- Простота тиражирования.
- Подсчет контрольных сумм для минимизации рисков потери данных.
- Позволяет гибко управлять выгрузкой, устанавливая расписание для конкретной таблицы или группы таблиц источника.
Область применения
Продукт применим для хранилищ данных с ежедневной частотой обновления данных, особенно эффективен для систем с большим количеством источников данных.
RT.DataLoader представляет собой легко тиражируемую систему для выгрузки больших объёмов данных из источников в хранилище данных. Решение обеспечивает быструю интеграцию новых источников и минимизирует необходимость привлечения ETL-разработчиков.
Ключевые возможности включают возможность полного и частичного экспорта данных из таблиц, загрузку в файловую систему Hadoop (HDFS) и поддержку инкрементального обновления с форматом .csv. Программа также позволяет планировать выгрузки по графику или событиям, архивировать данные, вести контроль качества с подсчетом контрольных сумм и формировать очереди заданий для балансировки нагрузки на источники данных, что обеспечивает оптимизацию процессов обработки.
Поддерживаемые платформы включают любые системы, работающие с JDBC и SQL стандарта 92, благодаря чему RT.DataLoader легко интегрируется в современные корпоративные решения. Программное обеспечение требует наличия серверов для выполнения выгрузок данных и соответствующих систем для хранения (например, HDFS).
RT.DataLoader ориентирован на организации с высокими требованиями к обработке данных, особенно в разрезе частых обновлений больших массивов информации. Система эффективно работает в средах с многочисленными источниками данных, таких как финансовые, телекоммуникационные и производственные компании.
Уникальные функции системы включают наличие модуля выгрузки, обеспечивающего изоляцию процессов выгрузки и доставки для минимизации нагрузки на данные и повышения надежности, а также развитую систему оркестрации, позволяющую управлять несколькими задачами выгрузки и интеграции. Имеется централизованная база метаданных для хранения конфигурационных данных и логов выполнения процессов.
Клиенты, которые используют RT.DataLoader, получают инструмент для упрощения экспортных процессов, улучшения качества данных и повышения общей эффективности работы с большими данными, что делает его важным компонентом в структуре управления данными предприятия.
Совместимость:
Встраивается в качестве модуля расширения функциональности в : СУБД и средства работы с даннымиRT.DataLakeRT.Warehouse
Если вы обнаружили ошибку, пожалуйста, уведомите нас — выделите текст с ошибкой и нажмите клавиши Ctrl+Enter. Отключите блокировщик рекламы, если после нажатия комбинации кнопок не срабатывает всплывающее окно.
