MetaStaging

Описание

MetaStaging представляет собой мощный инструмент для транспортировки данных из различных систем источников в корпоративное хранилище данных. Главная цель компонента – обеспечить надежный и оптимизированный процесс интеграции данных, сохраняя целостность метаданных и автоматизируя генерацию объектов типа «представление» в базах данных Greenplum для каждого полученного файла.

MetaStaging функционирует как часть системы BI.Qube, но его также можно использовать в качестве самостоятельного компонента. В рамках системы компонент управляется через MetaOrchestrator, что позволяет максимально эффективно использовать его возможности.

Основными функциями MetaStaging являются:
— Инициация процесса с помощью Python3-скрипта для координации загрузки данных.
— Извлечение и загрузка данных через .NET Core в S3-совместимое хранилище (используются форматы .Parquet).
— Генерация external tables и представлений, поддерживающих метаданные источников в Greenplum.
— Хранение настроечных данных в специальной базе данных для взаимодействия с пользователем, а также утилиты для упрощения работы с данными.

Поддерживаемые системы-источники включают в себя: Big Query, различные API (REST), SQL Server, PostgreSQL, MySQL и Excel. При этом требуется, чтобы данные были доступны в нужном формате (представления или таблицы).

Среди поддерживаемых типов данных можно выделить множество, включая такие как tinyint, smallint и bigserial, с учетом ограничений для каждого источника.

MetaStaging позволяет реализовывать различные сценарии загрузки данных:
— Полная загрузка
o Полная загрузка с сохранением истории
— Инкрементальная загрузка

Для успешного функционирования MetaStaging необходимо заполнить настроечные таблицы, что может варьироваться в зависимости от типа загрузки данных. Процесс начальной настройки может быть осуществлен разработчиком, что позволяет пользователю сразу начать использовать инструмент.

По требованиям к программному обеспечению, MetaStaging совместим с открытыми API и фреймворками, поддерживает операционные системы типа Linux (такие как Ubuntu, Mint, РЕД ОС), а также имеет возможность развертывания под Windows. Настроечные данные могут храниться в PostgreSQL (версия 9.0 и выше), Postgres Pro и других аналогичных системах.

Для работы приложения требуются минимальные аппаратные характеристики:
— Процессор с тактовой частотой более 2.0 ГГц
— Оперативная память – минимум 2ГБ
— Свободное место на диске – 350 МБ для исходного кода и 60 МБ для установки

Методика установки и развертывания требует внимания к деталям и должна выполняться вендором, что обеспечивает корректность и стабильность работы системы.

Уникальные функции продукта включают в себя автоматическую генерацию объектов представления на основе файлов хранилища, гибкость в настройке загрузки данных и высокую масштабируемость, что делает MetaStaging подходящим решением для крупных корпоративных систем с высокими требованиями к интеграции данных. Компонент предназначен для использования в средах, требующих надежной и быстрой интеграции данных, предоставляя мощные инструменты для анализа и проверки качества данных.