RCO News Clustering Engine

Описание

ПО RCO News Clustering Engine инструментарий кластеризации текстов для построения сюжетов
ПО используется в автоматизированных системах, где требуются функции интеллектуальной обработки текстов на естественом языке.
По поддерживает работу с СУБД Postrge / Postgres Pro в качестве хранилища сообщений и сюжетов.
ПО представляет собой набор сервисов, взаимодействующих между собой и с хранилицем.
ПО совместимо с RCO Fact Extractor и может использовать его выдачу в качестве источника классификационных признаков.
ПО поддерживает обработку текстов на 9 языках (на ноябрь 2022), постоянно ведется работа по добавлению новых языков.
ПО работает под управлением операционных систем Windows и Linux.

ПО связывает новостные сообщения за некоторый промежуток времени, описывающие одни и те же события, в кластеры – сюжеты. Входной информацией ПО являются сообщения новостной ленты, хранящиеся в базе данных новостей заданного формата. Результатом кластеризации является набор кластеров. Каждый кластер – это набор сообщений, собственно образующих кластер, и набор терминов, характеризующих кластер. Указанные сообщения и термины имеют свой вес в кластере. ПО должно имеет функцию отслеживания изменения кластера во времени путём связывания похожих кластеров из результатов последовательных операций кластеризации, выполненных с небольшим сдвигом времени.

ПО обеспечивает возможность настраивать следующие параметры:

• Размер окна – промежуток времени, в котором должны быть опубликованы кластеризуемые новостные сообщения;
• Шаг кластеризации – сдвиг по времени между двумя последовательными операциями кластеризации (периодичность кластеризации);
• Порог объединения сообщений в кластер – минимальная близость между документом и кластером при добавлении документа к кластеру;
• Порог сравнения кластеров – минимальная близость между кластерами из двух последовательных операций кластеризации при связывании похожих кластеров в сюжет.