Применение обученной модели для работы с данными в режиме реального времени

После того, как модель обучена – она может быть применена для обработки данных, которые в примере будут получены при помощи коннектора из базы данных PostgreSQL. Т.о. второй этап работы с данными в режиме реального времени заключается в настройке коннектора и построении второго пайплайна, который будет получать информацию из соединения и обрабатывать её с помощью ранее созданной и обученной модели.

1. Создание коннектора.
   1. Перейдите в пункт меню «Соединения». Перейти в пункт меню «Соединения».

Откроется страница «Соединения» на первой вкладке «Источники данных», на которой отображаются все ранее созданные источники:

2. Для создания нового источника, нажимается кнопка «Создать источник данных» в верхнем правом углу. Откроется окно «Создание нового ресурса данных»:

3. Заполнить следующей информацией:

• Название. Пользователь задает название источника «postgres dataset 116».
• Хост. Указывается хост протокола TCP/IP, т.е IP-адрес подключаемой БД, например: «172.16.11.116».
• Порт. Номер порта, по которому устанавливается соединение с сервером, на котором установлена БД posgresql. Указать «9999».
• Имя хранилища. Название базы данных, которое указано на подключаемом сервере. Указать «dataset».
• Тип хранилища. Из выпадающего списка выбирается тип «postgresql»:
• Имя пользователя, пароль. Параметры учетной записи администратора внешнего сервера для разрешения доступа к данным. Указать пользователя «postgres», и пароль «example».
• Описание. Вводится дополнительная информация по источнику, необязательное поле. 
• Для регистрации в Системе источника нажимается кнопка «Создать».

4. Созданный коннектор отобразится в общем списке. При необходимости изменить настройки используется кнопка «Редактировать»:

5. Создание ETL. Создание нового ETL осуществляется на вкладке «ETL» в разделе Соединения:

1.  Нажимается кнопка «Создать ETL». Открывается окно «Создать новый ETL»:

2.  Заполнить поля:

• Название. Пользователь вручную задает название ETL «mei1d_duplicate_2» – запроса на извлечение данных.
• Содержание запроса. Прописывается sql запрос для извлечения данных из внешнего сервера: select “Tq”, “Tw” from mei1d_duplicate_2
• Тип хранилища. Выбирается тип «postgresql».
• Нажать на кнопку «Создать».

3. Созданный ETL можно менять и редактировать по аналогии с источником данных.
4. Создание Коннектора. Пользователь переходит на вкладку «Коннекторы»:

1.  Нажать на кнопку «Создать коннектор». Откроется окно «Создать новый коннектор»:

2.  Заполнить поля:

• Название. Пользователь вручную задает название создаваемого коннектора, например «mei1d_duplicate_2».
• Ресурсы данных. Из списка выбирается источник «postgres dataset 116», созданный в шаге 1
• ETL. Из списка выбирается ETL «mei1d_duplicate_2», созданный в шаге 2.
• Описание.

3. Нажать кнопка «Создать».
4. Сразу после создания коннектору присваивается статус «Stopped»:

7. Запуск коннектора. Чтобы данные из источника начали поступать в Систему необходимо запустить коннектор. Для этого пользователь нажимает на кнопку «» в строке с коннектором. В результате статус меняется на значение «Started». Пользователь имеет возможность использовать данные из БД PostreSQL в режиме реального времени, подключая его в качестве источника в пайплайн.
8. Создание блок схемы. 

Теперь пользователь переходит к созданию второго пайплайна, где будет использована ранее обученная модель и созданный коннектор. Т.о. будет происходить обработка данных, получаемых в режиме реального время, для получения прогноза температуры воды и котла. 

1. Создание новой рабочей области.
   1. Перейти в  пункт меню системы Моделирование –> Рабочая область. На панели инструментов блок-схемы нажать кнопку «Создание рабочей области» (кнопка ):

2. В открывшейся форме ввести название новой рабочей области «МЭИ realtime» и нажать кнопку «Создать»:
3. На панели инструментов отобразится название созданной рабочей области.
4. Добавление первого элемента «Источник данных». В данном примере мы будем использовать два источника данных: коннектор и модель. Для загрузки в пайплайн данных из коннектора нужно добавить элемент «Источник данных» на рабочую область (кнопка ) и настроить элемент:
   1. На элементе нажать на кнопку. Откроется панель настроек элемента.
   2. На панели настроек элемента выбрать из списка функцию: раздел «Загрузка данных» ->  функция «Загрузка табличных данных из коннектора».
   3. В поле «Выберите файл» из списка всех созданных коннекторов выбрать «mei1d_duplicate_2». 
   4. Установить галочку в поле «Онлайн данные»:

5. Нажмите на кнопку «Сохранить».
6. Переименуйте блок в «Данные МЭИ»
7. Соедините элементы:

3. Добавление второго элемента «Источник данных». Для того чтобы включить в пайплайн ранее созданную обученную модель, нужно добавить еще один элемент «Источник данных» на рабочую область (кнопка ). Чтобы настроить элемент:
   1. На элементе нажмите на кнопку. Откроется панель настроек элемента.
   2. На панели настроек элемента выберите из списка функцию: раздел «Машинное обучение» ->  функция «Загрузка модели».
   3. В списке моделей выберите «mei» 
   4. Переименуйте блок в «Модель»
4. Запись в датасет логирования. В данном блоке будет осуществляться логирование новой поступающей новой информации в датасет, для этого:
   1. Добавьте на рабочую область элемент «Процесс»:
   2. В карточке элемента выберите из списка функцию: раздел «Анализ данных» ->  функция «Запись в датасет логирования».
   3. Переименуйте блок в «Логирование»
   4. Соедините элементы:

5. Прогноз. Добавьте на рабочую область и настроить еще один элемент «Процесс»:
   1. В карточке элемента выберите из списка функцию: раздел «Машинное обучение» ->  функция «Прогноз модели».
   2. Переименуйте блок в «Прогноз»
   3. Соедините элементы:

6. Визуализация. Добавьте на рабочую область и настройте элемент «Процесс»:
   1. В карточке элемента выберите из списка функцию: раздел «Анализ данных» ->  функция «Визуализация Real-Time».
   2. В параметрах блока выберите все графики и установите для них следующие параметры:

• Линейный график: Число периодов в окне: 10; Период окна: 5.Минуты
• Свечной график: Число периодов: 1; Период: 5.Минуты; Число периодов в окне: 10; Период окна:  5.Минуты

3. Переименуйте блок в «Визуализация»
4. Соедините элементы:

7. Запуск блок-схемы. Для запуска блок-схемы нужно нажать на кнопку на первом элементе «Запуск». Все элементы блок-схемы должны отработать с зелеными индикаторами. 

При запуске real time блок схем элементы будут отрабатывать снова и снова и индикаторы на пайплайне будут постоянно менять цвета. Если необходимо остановить обработку данных – нажмите кнопку запуск повторно.

3. Визуализация результатов прогнозирования температуры на графиках.

После того как все элементы схемы будут успешно обработаны, на панели инструментов активизируется кнопка «Графики»:

Графики будут доступны в зависимости от выбранных в рамках блока «Визуализация». В текущем примере это Линейный и Свечной графики:

Список доступных графиков для отображения на рабочей области

Для отображения графиков на рабочей области нужно выбрать необходимые, кликнув на их названия.

Обратите внимание, что блок схема работает в режиме реального времени и данные на графиках будут постоянно обновляться в зависимости от заданного лага в графиках. 

1. Линейный график:

Линейный график временного ряда в режиме реального времени

График показывает изменения значений целевых признаков (Tq и Tw) в течение заданного периода времени, который устанавливается в параметрах блока «Визуализация». В нашем примере мы выбрали период равный 10 минутам:

Параметры настройки линейного графика

Соответственно на графике отображаются все значения признаков за последние 10 минут. Каждый раз, когда блок схема будет отрабатывать – временной отрезок ниже будет сдвигаться вперед, но значения всегда будут в пределах 10 минут. Т.к. на пайплайне присутствует блок прогнозирования, на линейном графике мы также видим прогноз значений параметров. Горизонт планирования равен шагу ресемплирования из пайплайна обучения, это значение записывается моделью.

2. Свечной график:

Свечной график в режиме реального времени

График также показывает изменения значений параметров в течение заданного периода времени. При этом задается период, в рамках которого будет сформирована т.н. свеча (столбик на графике); и  число периодов в окне. В нашем примере – это одна минута, и мы можем видеть 10 свечей на графике, т.к. задали число периодов в окне равное 10 минутам:

На горизонтальной оси отображается время, для которого было зафиксировано значение. На вертикальной – само значение признака. Прямоугольники (свечи) на графике отображают разницу между значением параметра на начало периода и на конец. Линии, исходящие из свечей, показывают максимальное и минимальное значение параметра за период времени. Если значение параметра на конец периода выше, чем на начало – то свеча окрасится в оранжевый цвет; если значение на конец периода ниже, чем на начало – в серый.

Созданные графики можно использовать для создания индивидуальных дашбордов.