Dat ax

Описание

Продукт Dat.ax представляет собой набор различных инструментов для работы с данными.Программный комплекс Dat.ax предоставляет собой два основных модуля, которые выполняют основные функции:1. Модуль управления метаданными DatAx Meta представляет собой инструмент, позволяющий управлять метаданными (данными о данных) на всех этапах разработки, сопровождения, развития хранилищ и аналитических баз данных, а также осуществлять генерацию кода структур данных и ETL процессов (управление хранилищами данных по принципу “извлечение, преобразование, загрузка“) для модуля подготовки данных DatAx Low-сode-ETL.2. Модуль подготовки данных DatAx Low-сode-ETL представляет собой инструмент, обеспечивающий корректный процесс подготовки данных, в том числе загрузку данных из разных источников, настройку правил проверки и трансформации данных, а также позволяет управлять этими процессами в графическом интерфейсе.Функции компонент продукта Dat.ax доступны в интуитивно понятном пользовательском интерфейсе, доступ к которому пользователю предоставляется с использованием стандартной функциональности внешнего сервиса Keycloak. Программный комплекс Dat.ax ориентирован на крупнейших корпоративных клиентов, которые работают с большим количеством собственных структурированных данных в сложной архитектуре, которым необходимо перевести свои хранилища на современный технологический стек и организовать извлечение из данных экономической выгоды. Dat.ax предназначен для работы разработчиков, системных администраторов, аналитиков, тестировщиков, специалистов по внедрению ПО и используется для упрощения реализации сложных систем.

1. Модуль управления метаданными DatAx Meta разработан для оптимизации работ с метаданными хранилищ и аналитических баз данных с целью упрощения моделирования структур данных, описания и генерации ETL процессов, оперативной передачи разработок в промышленную эксплуатацию. Основные функции:

• 1.1. Обеспечение единого пространства метаданных, сходимость генерируемого кода.
• 1.2. Генерация кода структур данных, что приводит к его стандартизации.
• 1.3. Импорт метаданных различными способами: напрямую из БД (Oracle, Postgres, Greenplum), с помощью структурированных Excel-файлов.
• 1.4. Описание проверок импортируемых / вносимых метаданных на уровне моделей данных.
• 1.5. Описание шаблонов генерации кода структур данных, с возможностью дополнения или изменения функциональности генерируемого SQL кода через UI.
• 1.6. Валидация метаданных и формирование дельты изменения в рамках структур данных для получения полного объема информации о разрабатываемых объектах хранилищ данных и их применения в промышленной эксплуатации.
• 1.7. Описание структуры витрин данных на уровне метаданных для последующей генерации новых объектов структур данных или обновления уже существующих.
• 1.8. Управление слоями данных с возможностью кастомизации каждого слоя через UI.
• 1.9. Управление техническими атрибутами слоев данных. Единоразовое описание атрибутов на слой для последующей подстановки в генерируемые структуры данных по умолчанию.
• 1.10. Универсальный шаблон импорта метаданных. Получение шаблона с текущей структурой слоя для заполнения/изменения метаданных.
• 1.11. Генерация ETL процессов для модуля DatAx Low-code ETL.
• 1.12. Возможность описания тестов в метаданных и исполнения в модуле DatAx Low-code ETL.

2. Модуль подготовки данных DatAx Low-сode-ETL позволяет консультантам/аналитикам (бизнес-пользователям) в режиме Low-code (режим для развертывания ПО методами, исключающими необходимость программирования, но сохраняющие такую возможность) и Self Service (самообслуживания) загружать и объединять данные из различных источников, настраивать правила преобразования и проверки данных, сохранять результаты обработки данных в БД и файлах для последующего анализа. Основные функции:

• 2.1. Регистрация данных из следующих источников: реляционные базы данных (PostgreSQL, MS SQL, Oracle, GreenPlum и др.), файлы (csv, excel, JSON и др.).
• 2.2. Настройка процессов подготовки данных в режиме low-code с использованием следующих типов шагов:
• 2.2.1. Выбор источника данных.
• 2.2.2. Графический конструктор запросов, поддерживающий создание расчётных атрибутов, преобразование типов данных, фильтрацию данных, функции JOIN, DISTINCT, LIMIT, GROUP BY и др.
• 2.2.3. SQL-код.
• 2.2.4. Python-код.
• 2.2.5. Сохранение результатов в витрины данных и файлы.
• 2.3. Создание шаблонов процессов подготовки данных для повторного использования.
• 2.4. Запуск процессов подготовки данных по запросу пользователей, заданному расписанию или вызову API из других систем.
• 2.5. Управление правами доступа пользователей.