Программное обеспечение Универсальная платформа машинного обучения

Описание

Универсальная платформа машинного обучения представляет собой мощный инструмент, ориентированный на разработку решений в области машинного обучения (ML) и глубокого обучения (DL). Платформа нацелена на создание минимально жизнеспособных продуктов (MVP) для различных распространенных задач, а также на оценку их эффективности и аудит созданных пользователей решений с точки зрения технического потенциала.

Среди ключевых возможностей платформы выделяется механизм интеграции с хранилищами данных клиентов, что позволяет осуществлять выбор необходимых данных с помощью интуитивно понятного визуального интерфейса без необходимости написания SQL-запросов. Платформа включает в себя набор готовых решений для ML и DL, а также интерфейсы для их обучения с использованием данных клиента.

После загрузки данных пользователи могут выбрать задачу из предложенного списка и провести валидацию и визуализацию результатов с использованием соответствующих метрик качества. Визуализация осуществляется через BI-интерфейс, который предоставляет графическое представление метрик и архитектуры предложенных решений. Также существует возможность загрузки предварительно разработанных моделей для их последующей оценки.

В рамках платформы реализован широкий спектр алгоритмов машинного обучения, включая:
— Классификация изображений на базе модели EfficientNet-B6 в фреймворке Pytorch, с оценкой качества по метрикам Accuracy, Precision, Recall и F1-Score.
— Классификация текста с использованием моделей fastText и SVM на библиотеках gensim и sklearn, включая предобработку текста через токенизацию и стемминг.
— Коллаборативная фильтрация на основе модели Neural Collaborative Filtering на фреймворке Pytorch, с применением предобработанных текстовых данных и моделями обработки изображений.
— Прогнозирование спроса с использованием модели CatBoost на временных рядах и с обобщенной информацией о товарах.
— Ранжирование по обученной модели Learning to Rank, основанной на CatBoost и CLIP, с применением метрик MRR, MAP и NDCG.

Для работы с данными предусмотрен функционал, который включает:
— Облачное хранилище на базе Yandex Cloud.
— Коннекторы к популярным базам данных, таким как MySQL, PostgreSQL, MongoDB, BigQuery, Redis, Cassandra и Hadoop, что позволяет гибко управлять данными.
— Выгрузка списка таблиц и полей в пользовательский интерфейс, а также выбор необходимых данных для обработки.

Платформа включает механизмы валидации решений через разделение данных на тренировочные и тестовые выборки, а также подсчет метрик с использованием библиотек sklearn и matplotlib для обеспечения интерактивной визуализации метрик качества.

Дополнительно предусмотрительно реализованы инструменты для конвертации моделей в форматы ONNX и TensorFlow, обертка в микросервисы на базе TensorFlow Serving и ONNX Serving. Платформа предоставляет пользователям UI-интерфейс для загрузки, выборки данных, выбора задач, запуска обучения и валидации моделей.

Из особенностей платформы стоит отметить актуальность и гибкость в адаптации к потребностям и техническим требованиям различных пользователей. Она находит применение в области аналитики, автоматизации бизнес-процессов, разработки продуктов, требующих использования методов искусственного интеллекта. Стоимость подписки составляет 30 000 рублей в месяц, что делает ее доступной для специалистов и команд, желающих внедрять решения на базе машинного обучения.